公開されているデータ(官公庁のオープンデータ、協会や自治体の公開ページ、貴社自身のデータ)を定期的に収集し、CSV/JSON/スプレッドシートに整形して自動更新する仕組みを作ります。
■ こんな方に
・毎週手作業でコピーしているデータを自動で集めたい
・一度作った収集スクリプトが止まったまま放置されている
・集めたデータを社内で使える形(CSV・スプレッドシート)に揃えたい
■ お渡しするもの
・収集スクリプト(Python)と設定ファイル
・GitHub Actions による定期実行(毎日/毎週など)
・失敗したときの検知と再実行、通知(GitHub の通知機能)
・README(動かし方、取得元を増やす手順、止め方)
■ 進め方
1. 取得元の URL と欲しい項目をお聞きします
2. 取得元の利用規約と robots.txt を確認し、取得してよい範囲をご報告します(取得できない場合はこの時点でお伝えし、着手前ならキャンセルに応じます)
3. 試作して、サンプルのデータをお見せします
4. 本番の定期実行を設定し、1 週間の試運転の結果とあわせて納品します
■ 基本料金に含まれる範囲
・取得元 1 サイト(一覧ページ+詳細ページ程度の構造)
・出力形式 1 種類
・定期実行の設定と 1 週間の試運転
■ お受けできないもの
・利用規約や robots.txt で自動取得が禁止されているサイト
・ログインが必要なページ、有料会員向けのページ
・個人情報(氏名・連絡先など)を含むデータの収集
・アクセス制限(403・レート制限)の回避を前提とする作業
実績: 都道府県・市区町村の協会サイトから大会情報を週次で収集・公開するサイトなど、公的データを使ったサイトを複数、一人で運用しています。
・取得元の URL と、欲しい項目の一覧(例を 3 件ほど)を購入前のご相談でお知らせください
・取得元の規約確認の結果によってはお受けできない場合があります。その場合は着手前にお伝えします
・GitHub アカウントをお持ちでない場合は、こちらで用意したリポジトリに招待する形でも納品できます