Webサイトのデータ収集を自動化します

「毎日このサイトを開いて、コピペしてExcelに貼る」 その作業を、仕組みごとお渡しします。 ■ できること ・Webサイトから必要な項目だけを抜き出してCSV／スプレッドシートに整理 ・1回きりの取得だけでなく、毎日・毎時の自動取得までセットで構築 ・JavaScriptで表示されるページ、ログインが必要なページにも対応 ・取得が失敗したときにメールで知らせる仕組みも設置可能 ■ こんな方に ・競合の価格や在庫を毎日チェックしている ・求人サイトや案件サイトを毎朝手作業で見て回っている ・複数サイトの情報を1つの表にまとめたい ・前に作ってもらったツールが動かなくなって放置している ■ 「取得できる」と「毎日動き続ける」は別物です スクレイパーは、サイト構造が変わったとき エラーを出さずに全部空欄を返すという壊れ方をします。 これに気づけないと、動いているつもりで空のデータが溜まり続けます。 そうならないよう、次を標準で組み込みます。 ・重複データの自動排除 ・取得内容が壊れていないかの自動チェック ・失敗時のメール通知 ・毎日決まった時刻に自動実行 現在、4サイトから日次で自動収集し続ける基盤を構築・運用しています。 ■ 納品物 ・取得したデータ（CSV / Excel / スプレッドシート、ご希望の形式） ・実行用スクリプト一式 ・使い方の手順書（画像つき） ■ 進め方 1. ご購入前に「対象サイトのURL」と「欲しい項目」をメッセージでお送りください 2. 取得可能かどうかを無料でお答えします 3. ご納得いただいてからご購入ください いきなり購入せず、まず質問だけでも歓迎します。 対応できない案件をお受けすることはありません。 ■ 動作保証について 納品後7日間は、動作しない場合の修正を無償で対応します。 その後にサイト側の構造変更などで動かなくなった場合は、 別途お見積り（5,000円〜）にて修正を承ります。 Webサイトは予告なく変更されるため、この点は事前にご了承ください。 ■ お受けできない内容 ・対象サイトの利用規約やrobots.txtで収集が禁止されている場合 ・個人情報にあたるデータの収集 ・短時間に大量アクセスを行うなど、相手サーバーに負荷をかける方法 この点は必ず事前に確認したうえでお受けします。