「このサイトのデータを自動で集めたい。でも、やって良いのか分からない」
という段階のご相談を承ります。
自動収集(スクレイピング)は、対象サイトの利用規約で禁止されていることがあります。
知らずに始めてから止まる・トラブルになる前に、対象サイト1件について
「やって良いか」「技術的にできるか」を確認し、報告書としてお渡しします。
■ 確認すること
・対象サイトの利用規約に、自動収集を禁止する記載があるか
・robots.txtの内容(機械によるアクセスをどう扱っているか)
・技術的な難易度(JavaScript描画の有無、bot対策の有無、構造の複雑さ)
・公式APIやデータ配布など、スクレイピングせずに済む代替手段があるか
■ お渡しするもの
・上記4点をまとめた報告書
・「進めて良い/条件付きで可/やめた方が良い」の判断と、その理由
・進める場合の、おおまかな構築の見積り(ご希望の場合)
■ この診断の考え方
「やめた方が良い」という結論も、そのままお渡しします。
規約違反の状態で仕組みを作っても、止められたときに全てが無駄になります。
先に3,000円で確認する方が、結果として安く済むと考えています。
■ お受けできない場合
・収集対象に個人情報(氏名・連絡先等)が含まれる計画
・bot対策の回避方法を知りたいというご相談
・ログインが必要なページの、他人のアカウントでの収集計画
診断の結果、構築まで進む場合は、別出品(仕組みづくり)をご案内します。
診断費用は構築費用から差し引きます。
ご購入前に、以下をお知らせください。
・対象サイトのURL(1件)
・集めたいデータの内容(例: 商品名と価格)
・データの利用目的(社内での比較・分析など)
対象は1出品につき1サイトです。複数サイトをご希望の場合は、
先にご相談いただければまとめてのお見積りをご提案します。
なお、以下のご相談はお受けできません。
・個人情報を収集する計画
・bot対策(CAPTCHA等)の回避方法のご相談
・他人のアカウントでログインして行う収集