気象庁のデータ1年分を「ボタン1つ」でExcelにするツールを作ってみました

気象庁のデータ1年分を「ボタン1つ」でExcelにするツールを作ってみました

記事
IT・テクノロジー
こんにちは、kotworkです。
Pythonで、Webの情報集めやExcelの繰り返し作業を自動化するツールを作っています。

今回は「Webのデータを集めてExcelにまとめる作業は、どこまで自動にできるのか」を実際にお見せするために、気象庁の公開データを題材にしたツールを作ってみました。

■ 手作業だとどうなるか
気象庁のホームページでは、過去の天気を1か月ごとのページで見ることができます。東京の1年分をExcelにまとめようとすると、
・ページを12回開く
・表を12回コピーして貼り付ける
・「--」や「)」などの記号を数字に直す
・月ごとの平均や合計を計算する
・グラフを作る
という作業になります。慣れていても、30分〜1時間はかかるのではないでしょうか。しかも、来月また同じ作業をすることになります。

■ ツールにするとこうなります

chart1.png

1. 地点と期間を選んで、ボタンを押す
2. 約30秒待つ
3. 集計とグラフが入ったExcelファイルができあがる

できあがるExcelには、月別まとめ(平均気温、最高・最低気温、降水量、日照時間、猛暑日の日数など)、日別データ(365日分)、気温の折れ線グラフと降水量の棒グラフ、出典のシートが入っています。

■ 作るときに気をつけたこと
・サイトに負担をかけないように、1ページごとに間隔をあけて取得しています
・気象庁独自の記号(観測なし、参考値など)も、空欄にならないよう数字に整えています
・Pythonを入れていないパソコンでも、ダブルクリックで動く形(exe)にしました
・出典をExcelの中に自動で書き込むようにしました(公的データの利用ルールに沿うため)

■ こんな作業も同じように自動化できます
・毎週、取引先やメーカーのサイトで価格を確認してExcelに書き写している
・求人や店舗、物件などの一覧を、項目ごとに表にまとめたい
・公的機関の統計データを、決まった形に集計している

「毎回同じページを見て、同じ場所をコピーしている」作業なら、ツールにできることが多いです。ただし、ログインが必要なサイトや、利用規約でデータ収集が禁止されているサイトはお引き受けできません。その場合は、CSVのダウンロード機能を使うなど、規約に沿った別の方法をご提案します。

■ ご相談はこちらから
「このサイトでもできる?」というご相談だけでも大歓迎です。URLと取りたい項目を教えていただければ、取得できるかどうかを無料で確認します。

▼サービスページ
スクレイピングでWeb情報をExcelにまとめます

最後まで読んでいただき、ありがとうございました。
サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す