「Au実効速度の個人解析」の版間の差分

提供: dococo wiki
ナビゲーションに移動 検索に移動
imported>Webmaster
imported>Webmaster
 
(同じ利用者による、間の6版が非表示)
39行目: 39行目:
 
ダウンロード:[http://yahoo.jp/box/Ny67aC 街区レベル位置参照情報_ 街区レベル.7z](街区レベル)もまとめました<br />
 
ダウンロード:[http://yahoo.jp/box/Ny67aC 街区レベル位置参照情報_ 街区レベル.7z](街区レベル)もまとめました<br />
 
※ただし、[http://yahoo.jp/box/Ny67aC 街区レベル位置参照情報_ 街区レベル.7z](街区レベル)については、13,720,998行ありますので、Excel等では開くことが出来ません。後ほどPerlによるデータ処理で説明します。
 
※ただし、[http://yahoo.jp/box/Ny67aC 街区レベル位置参照情報_ 街区レベル.7z](街区レベル)については、13,720,998行ありますので、Excel等では開くことが出来ません。後ほどPerlによるデータ処理で説明します。
 +
----
 +
 
=== 突合するためのデータ加工 ===
 
=== 突合するためのデータ加工 ===
−
目的はauホームページで掲載されている'''計測場所'''の緯度経度を取得したいのですが問題があります。<br />
+
;データ加工ルール
 +
*計測場所が同一で複数の値がある場合[https://ja.wikipedia.org/wiki/%E4%B8%AD%E5%A4%AE%E5%80%A4 中央値]を採用する
 +
;目的:auホームページで掲載されている'''計測場所'''の緯度経度を取得
 +
----
 +
=== データ加工における問題点 ===
 +
データ加工を行う際に以下の問題がある
 
;auホームページ側:計測場所が<code>宮崎県宮崎市学園木花台北2丁目 付近 (1)</code>というように<code> 付近 (1)</code>の余計な情報が入っている
 
;auホームページ側:計測場所が<code>宮崎県宮崎市学園木花台北2丁目 付近 (1)</code>というように<code> 付近 (1)</code>の余計な情報が入っている
−
:
+
:また、<code>宮崎県宮崎市学園木花台北2丁目 付近 (2)</code>というように同一町名で複数のデータがある
−
;街区レベル位置参照情報:
+
{| class="wikitable"
 +
|-
 +
!計測日時!!計測場所!!計測端末!!NW種別!!下り平均速度!!上り平均速度
 +
|-
 +
|2015/11/30 17時台||宮崎県宮崎市学園木花台北2丁目 付近 (1)||iPhone 6s||LTE||41Mbps||5Mbps
 +
|-
 +
|2015/11/30 17時台||宮崎県宮崎市学園木花台北2丁目 付近 (2)||iPhone 6s||LTE||109Mbps||13Mbps
 +
|}
 +
 
 +
;街区レベル位置参照情報:県・市・町名が別セルになっている。<code>学園木花台北二丁目</code>という様に<code>二丁目</code>が漢数字で表されている
 
{| class="wikitable"
 
{| class="wikitable"
 
|-
 
|-
50行目: 66行目:
 
|45||宮崎県||45201||宮崎市||452010000000||学園木花台北二丁目||31.83329||131.426677||1||3
 
|45||宮崎県||45201||宮崎市||452010000000||学園木花台北二丁目||31.83329||131.426677||1||3
 
|}
 
|}
−
 
+
<br />
−
 
+
これを、以下の結果になるようにしたい（平均は複数ある場合は中央値）
 +
{| class="wikitable"
 +
|-
 +
!緯度!!経度!!下り平均速度!!上り平均速度
 +
|-
 +
|31.83329||131.426677||75Mbps||9Mbps
 +
|}
 +
=== データ加工における問題の解決方法 ===
 +
ここで、簡単なロジカル・シンキングを行ってみたい<br />
 +
:'''auホームページの計測場所'''に'''街区レベル位置参照情報'''の'''都道府県名'''・'''市区町村名'''が含まれている
 +
:かつ
 +
:'''街区レベル位置参照情報'''の'''大字町丁目名'''に含まれる数字が大文字、小文字、英数字、漢数字問わずに検索（ヒット）
 +
:した時
 +
:'''auホームページの計測場所'''を'''街区レベル位置参照情報'''の'''緯度・経度'''に置き換える
 +
<br />
 +
なんとなく出来そうである
 +
----
 +
== Perlによるデータ加工 ==
 +
住所データを漢数字にしたり、いろいろやってます。
 +
*[[住所から緯度経度を取得する]]を参照してください
 +
*[[半角カナを全角カナに変換]]
 +
*[[半角数字を漢数字に変換]]
  
 
----
 
----
 
<!-- カテゴリに追加するページ名を記入 -->
 
<!-- カテゴリに追加するページ名を記入 -->
 
[[Category:備忘録]]
 
[[Category:備忘録]]

2016年1月3日 (日) 15:05時点における最新版

総務省が定めた「実効速度に関するガイドライン」に基づき計測した10都市の全受信速度を解析したので、手法も合わせてメモとして保存しておく。

データの入手

auホームページの「実効速度について」において、測定した場所のデータがあるのでコピーして保存しておく。
ホームページのデータをEXCELへコピペして、整形すると以下のようなデータがAndroidとiPhone各々1500ポイントのデータが取得できる。(データは一部抜粋です)

計測日時 計測場所 計測端末 NW種別 下り平均速度 上り平均速度
2015/12/01 12時台 宮崎県宮崎市島之内 付近 (1) iPhone 6s LTE 33Mbps 7Mbps
2015/12/01 13時台 宮崎県宮崎市島之内 付近 (2) iPhone 6s LTE 67Mbps 12Mbps
2015/12/01 13時台 宮崎県宮崎市島之内 付近 (3) iPhone 6s LTE 79Mbps 10Mbps
2015/12/01 13時台 宮崎県宮崎市島之内 付近 (4) iPhone 6s LTE 48Mbps 10Mbps
2015/12/01 14時台 宮崎県宮崎市島之内 付近 (5) iPhone 6s LTE 78Mbps 12Mbps
2015/12/02 12時台 宮崎県宮崎市新名爪 付近 (1) iPhone 6s LTE 60Mbps 12Mbps
2015/12/02 12時台 宮崎県宮崎市新名爪 付近 (2) iPhone 6s LTE 47Mbps 8Mbps
2015/12/02 13時台 宮崎県宮崎市新名爪 付近 (3) iPhone 6s LTE 69Mbps 12Mbps
2015/12/02 13時台 宮崎県宮崎市新名爪 付近 (4) iPhone 6s LTE 64Mbps 12Mbps

こんなデータが、AndroidとiPhone各々1500ポイントつらなっているので、見ているだけだとよく分からないので地図上（GoogleEarth）に反映出来るようにする。

計測場所の緯度経度取得

住所とかから緯度経度を調べるにはGoogleのGeocodingを使うのも良いですが、1日に変換できる量が決まっていたりして、APIの使いかとかよく分かったていないので国土交通省の街区レベル位置参照情報を活用します。

街区レベル位置参照情報とは

全国の都市計画区域相当範囲を対象に、街区単位(「○○町△丁目□番」)の位置座標(代表点の緯度・経度、平面直角座標)を整備した データです。このデータを利用することで、住所などを含む表や台帳データに位置座標（緯度経度等）を付け、GISで地図上に展開して空間的な分析をすることが できるようになります。

とあります。ので、今回該当する地区の情報をダウンロードしておきます。

データには街区レベルのみと大字・町丁目レベルのみとありますが、計測場所は大字・町丁目レベルで良いので、大字・町丁目レベルのみデータをダウンロードします。

日本全国ダウンロード

とりあえず、日本全国分をダウンロードしちゃいます。
2015-12-28 21-59-14.png
いろいろ進んでいくと、ファイルをダウンロードするので保存しておきます。各、県毎にcsvファイルがあるのでそれを保存して、日本全国分をマージして、余計なヘッダを取ります。細かい作業については、ここでは省略します。基本的には秀丸エディタとか使ってテキスト整形を行います。
整形したファイルが欲しいという人がいましたらYahooボックスで公開していますので、適当にダウンロードしてください
ダウンロード:街区レベル位置参照情報.csv( 大字・町丁目レベルのみ)
ダウンロード:街区レベル位置参照情報_ 街区レベル.7z(街区レベル)もまとめました
※ただし、街区レベル位置参照情報_ 街区レベル.7z(街区レベル)については、13,720,998行ありますので、Excel等では開くことが出来ません。後ほどPerlによるデータ処理で説明します。

突合するためのデータ加工

データ加工ルール
  • 計測場所が同一で複数の値がある場合中央値を採用する
目的
auホームページで掲載されている計測場所の緯度経度を取得

データ加工における問題点

データ加工を行う際に以下の問題がある

auホームページ側
計測場所が宮崎県宮崎市学園木花台北2丁目 付近 (1)というように 付近 (1)の余計な情報が入っている
また、宮崎県宮崎市学園木花台北2丁目 付近 (2)というように同一町名で複数のデータがある
計測日時 計測場所 計測端末 NW種別 下り平均速度 上り平均速度
2015/11/30 17時台 宮崎県宮崎市学園木花台北2丁目 付近 (1) iPhone 6s LTE 41Mbps 5Mbps
2015/11/30 17時台 宮崎県宮崎市学園木花台北2丁目 付近 (2) iPhone 6s LTE 109Mbps 13Mbps
街区レベル位置参照情報
県・市・町名が別セルになっている。学園木花台北二丁目という様に二丁目が漢数字で表されている
都道府県コード 都道府県名 市区町村コード 市区町村名 大字町丁目コード 大字町丁目名 緯度 経度 原典資料コード 大字・字・丁目区分コード
45 宮崎県 45201 宮崎市 452010000000 学園木花台北二丁目 31.83329 131.426677 1 3


これを、以下の結果になるようにしたい（平均は複数ある場合は中央値）

緯度 経度 下り平均速度 上り平均速度
31.83329 131.426677 75Mbps 9Mbps

データ加工における問題の解決方法

ここで、簡単なロジカル・シンキングを行ってみたい

auホームページの計測場所に街区レベル位置参照情報の都道府県名・市区町村名が含まれている
かつ
街区レベル位置参照情報の大字町丁目名に含まれる数字が大文字、小文字、英数字、漢数字問わずに検索（ヒット）
した時
auホームページの計測場所を街区レベル位置参照情報の緯度・経度に置き換える


なんとなく出来そうである

Perlによるデータ加工

住所データを漢数字にしたり、いろいろやってます。

「https://jm.2-d.jp/index.php?title=Au実効速度の個人解析&oldid=4038」から取得