Au実効速度の個人解析

総務省が定めた「実効速度に関するガイドライン」に基づき計測した10都市の全受信速度を解析したので、手法も合わせてメモとして保存しておく。

データの入手

auホームページの「実効速度について」において、測定した場所のデータがあるのでコピーして保存しておく。
ホームページのデータをEXCELへコピペして、整形すると以下のようなデータがAndroidとiPhone各々1500ポイントのデータが取得できる。(データは一部抜粋です)

計測日時	計測場所	計測端末	NW種別	下り平均速度	上り平均速度
2015/12/01 12時台	宮崎県宮崎市島之内付近 (1)	iPhone 6s	LTE	33Mbps	7Mbps
2015/12/01 13時台	宮崎県宮崎市島之内付近 (2)	iPhone 6s	LTE	67Mbps	12Mbps
2015/12/01 13時台	宮崎県宮崎市島之内付近 (3)	iPhone 6s	LTE	79Mbps	10Mbps
2015/12/01 13時台	宮崎県宮崎市島之内付近 (4)	iPhone 6s	LTE	48Mbps	10Mbps
2015/12/01 14時台	宮崎県宮崎市島之内付近 (5)	iPhone 6s	LTE	78Mbps	12Mbps
2015/12/02 12時台	宮崎県宮崎市新名爪付近 (1)	iPhone 6s	LTE	60Mbps	12Mbps
2015/12/02 12時台	宮崎県宮崎市新名爪付近 (2)	iPhone 6s	LTE	47Mbps	8Mbps
2015/12/02 13時台	宮崎県宮崎市新名爪付近 (3)	iPhone 6s	LTE	69Mbps	12Mbps
2015/12/02 13時台	宮崎県宮崎市新名爪付近 (4)	iPhone 6s	LTE	64Mbps	12Mbps

こんなデータが、AndroidとiPhone各々1500ポイントつらなっているので、見ているだけだとよく分からないので地図上（GoogleEarth）に反映出来るようにする。

計測場所の緯度経度取得

住所とかから緯度経度を調べるにはGoogleのGeocodingを使うのも良いですが、1日に変換できる量が決まっていたりして、APIの使いかとかよく分かったていないので国土交通省の街区レベル位置参照情報を活用します。

街区レベル位置参照情報とは

全国の都市計画区域相当範囲を対象に、街区単位(「○○町△丁目□番」)の位置座標(代表点の緯度・経度、平面直角座標)を整備したデータです。このデータを利用することで、住所などを含む表や台帳データに位置座標（緯度経度等）を付け、GISで地図上に展開して空間的な分析をすることができるようになります。

とあります。ので、今回該当する地区の情報をダウンロードしておきます。

データには街区レベルのみと大字・町丁目レベルのみとありますが、計測場所は大字・町丁目レベルで良いので、大字・町丁目レベルのみデータをダウンロードします。

日本全国ダウンロード

とりあえず、日本全国分をダウンロードしちゃいます。

いろいろ進んでいくと、ファイルをダウンロードするので保存しておきます。各、県毎にcsvファイルがあるのでそれを保存して、日本全国分をマージして、余計なヘッダを取ります。細かい作業については、ここでは省略します。基本的には秀丸エディタとか使ってテキスト整形を行います。
整形したファイルが欲しいという人がいましたらYahooボックスで公開していますので、適当にダウンロードしてください
ダウンロード:街区レベル位置参照情報.csv( 大字・町丁目レベルのみ)
ダウンロード:街区レベル位置参照情報_ 街区レベル.7z(街区レベル)もまとめました
※ただし、街区レベル位置参照情報_ 街区レベル.7z(街区レベル)については、13,720,998行ありますので、Excel等では開くことが出来ません。後ほどPerlによるデータ処理で説明します。

突合するためのデータ加工

データ加工ルール

計測場所が同一で複数の値がある場合中央値を採用する

目的: auホームページで掲載されている計測場所の緯度経度を取得

データ加工における問題点

データ加工を行う際に以下の問題がある

auホームページ側: 計測場所が宮崎県宮崎市学園木花台北2丁目付近 (1)というように 付近 (1)の余計な情報が入っている; また、宮崎県宮崎市学園木花台北2丁目付近 (2)というように同一町名で複数のデータがある

計測日時	計測場所	計測端末	NW種別	下り平均速度	上り平均速度
2015/11/30 17時台	宮崎県宮崎市学園木花台北2丁目付近 (1)	iPhone 6s	LTE	41Mbps	5Mbps
2015/11/30 17時台	宮崎県宮崎市学園木花台北2丁目付近 (2)	iPhone 6s	LTE	109Mbps	13Mbps

街区レベル位置参照情報: 県・市・町名が別セルになっている。学園木花台北二丁目という様に二丁目が漢数字で表されている

都道府県コード	都道府県名	市区町村コード	市区町村名	大字町丁目コード	大字町丁目名	緯度	経度	原典資料コード	大字・字・丁目区分コード
45	宮崎県	45201	宮崎市	452010000000	学園木花台北二丁目	31.83329	131.426677	1	3

これを、以下の結果になるようにしたい（平均は複数ある場合は中央値）

緯度	経度	下り平均速度	上り平均速度
31.83329	131.426677	75Mbps	9Mbps

データ加工における問題の解決方法

ここで、簡単なロジカル・シンキングを行って