公開APIからデータを自動で集めるツールを作ります

公開されているAPIやオープンデータ(CSV・RSSなど)から、必要なデータを取ってExcel/CSVに貯めるPythonツールを作ります。毎日・毎週決まった時刻に自動で動かす設定や、取れたら(取れなかったら)SlackやDiscordに知らせる仕組みもオプションで付けられます。 私自身、公開APIからデータを取って集計し、決まった時刻に投稿・通知する仕組みを自分用に毎日動かしています。止まったときに気づけること、同じデータを二重に取らないこと、時刻(日本時間とUTC)のずれ。運用で効いたこの3点は最初から組み込みます。 【例えばこんなツール】 ・政府統計や自治体のオープンデータを定期的に取って、1つの表に追記する ・為替や天気など、公開APIの値を毎朝取ってExcelに貯める ・ニュースやブログのRSSから、キーワードに合う記事のタイトルとURLだけ一覧にする ・お持ちのAPIキーで使えるサービスのデータを、決まった形のCSVに出す 【基本料金に含むもの】 ・取得元1つ(公開APIまたは公開CSV/RSS)、項目10まで ・Pythonスクリプト(.py)と設定ファイル。出力はCSVかExcelのどちらか ・使い方の説明(1枚。インストール手順・実行方法・設定の変え方) ・エラー時のログ出力と、重複データの除外 ・納品後7日間の修正対応 【進め方】 1. 取得したいデータ(取得元のURLか、APIの説明ページ)と、欲しい項目をお知らせください。利用規約を確認して、作れるかどうかを先にお伝えします 2. 作成 → サンプル出力をお見せして項目・形式を確認 3. 納品 【お受けできないもの】 ・利用規約で自動取得を禁止しているサイト・API、ログインが必要な会員ページ ・SNSのユーザー情報、個人情報の収集 ・APIの利用上限を超える取得や、相手のサーバーに負担をかける頻度での取得 ・サーバーを借りての24時間運用の代行(お手元のPCで動かす形になります) コードの下書きにAIを使うことがあります。動作確認は私が実際の取得元で行います。