ていねいデータ収集

規約とrobots.txtを確認してから、公開データを丁寧に集めます

個人ブログ（記事80本以上）と、商品の価格を複数のお店から定期的に集めて比べるサイトを運営しています。 ■ できること ・Web サイトの公開データを集めて CSV／スプレッドシートにする ・毎日・毎週の定期取得と、止まったときに気づく仕組み ・Search Console・GA4・BigQuery のデータの集計 ■ 大事にしていること ・取得の前に、相手のサイトの利用規約と robots.txt を確認します。禁止されている場合はお受けしません ・アクセスの間隔をあけ、相手のサイトに負担をかけない取り方をします ・最初にサンプル 10件をお見せしてから全件を取ります ■ 対応時間 平日は夜、土日は日中にメッセージを確認します。お返事は原則 24時間以内です。 使える言語・道具: Python／TypeScript／SQL（PostgreSQL・SQLite・BigQuery）／GitHub Actions