【こんな方におすすめ】
・ネット上の情報をExcelにまとめたいが、手作業では時間が足りない
・継続的に特定サイトを監視して、変化があったら知らせてほしい
・一度きりではなく、定期的にデータを取得するスクリプトが欲しい
【提供内容】
Webサイトから必要な情報を自動で抽出し、Excel・CSV・JSONいずれの形式でも納品いたします。1回限りの抽出でも、定期的に動かすスクリプトの構築でも対応可能です。
【対応できるデータ例】
・企業情報(企業名・URL・住所・電話番号・業種など)
・ECサイトの商品情報(価格・在庫・レビュー)
・求人情報・不動産情報・口コミ
・特定カテゴリの記事一覧
・公開統計データ・ランキングデータ
【納品物】
・抽出結果ファイル(Excel/CSV/JSON)
・取得条件や項目のサマリー
・継続案件の場合は実行用スクリプト一式
【ワークフロー】
1. ヒアリング(対象サイト・取得項目・納品形式の確認)
2. 技術的実現可能性の確認(ログイン必要・JavaScript動的生成等への対応検討)
3. 試作版の抽出結果を50件程度納品、形式のすり合わせ
4. 本番抽出・納品
【使用技術】
・Playwright(マイクロソフト製のブラウザ自動化ツール)
・Node.js / Python
・正規のブラウザアクセスのため、サーバーへの過度な負荷はかけません
【遵守事項】
・robots.txt および各サイトの利用規約を遵守します
・取得禁止と明記されたデータは取得しません
・取得頻度は常識的な範囲(1秒あたり1アクセス程度)に抑えます
・取得対象の公開性を事前に確認します
【秘密保持】
・取得したデータ・スクリプト・納品物は作業完了後に削除します
・第三者への開示は一切行いません
・NDA締結のご希望があればご相談ください
【継続案件歓迎】
日次・週次・月次でのデータ取得など、継続的な運用のご相談も承ります。
【ご購入前にご確認ください】
1. 抽出対象のWebサイトURL・取得したい項目(列)・納品希望形式(Excel/CSV/JSON)をお知らせください。可能であれば、取得イメージのスクリーンショットもあると認識ズレを防げます。
2. 以下の条件に該当する場合は、事前にご相談ください。
・ログイン必須のサイト(認証情報の取り扱いが必要)
・JavaScript等で動的生成されるコンテンツ
・CAPTCHAや強固なbot対策があるサイト
・SNS・大手ECサイト等、スクレイピング禁止の明記があるサイト
3. 技術的に取得困難または禁止されたサイトの場合は、辞退させていただく場合があります。この場合、料金はいただきません。
4. 試作として50件程度のサンプルを先行納品し、形式や取得項目のすり合わせを行います。本番納品はその後となります。
5. 取得データ・スクリプト・納品物は作業完了後に速やかに削除いたします。NDA締結のご希望があればご相談ください。
ご不明点はご購入前にメッセージでお気軽にお尋ねください。