スクレイピング可否の判定キットをお渡しします

Webサイトからデータを集めたい。でも、勝手に取って大丈夫なのか分からない。 この出品は、その手前で止まるための道具一式です。集める作業は入っていません。 取っていいかを確かめて、記録に残すところまでをお渡しします。 ■ 届くもの 1. 判定ツール（Python・追加インストール不要） 対象のURLを渡すと、robots.txtを読んで取っていいかを判定します。 アクセス間隔の指定とサイトマップの場所も一緒に出て、そのまま記録に残せます。 2. 規約の見かた（手順書） 利用規約のどこを読めばいいかを4つの語に絞りました。全文を読む必要はありません。 読んだ結果を「禁止」「条件つき」「言及なし」に仕分けて判断する手順まで書いています。 3. 依頼テンプレート 外注するとき、そのまま埋めて送れる形です。 どの項目が見積りの何を変えるのかも添えたので、埋めながら要件が固まります。 ■ 先にお伝えすること 利用規約の可否は、このツールでは判定できません。規約は文章なので機械では読めず、 判定できるのはrobots.txtの部分だけです。規約はご自身で読んでいただく形になり、 そのための手順書を同梱しています。法律の助言もしていません。 ■ なぜこれを作ったか 自分の収集案件で、着手前にこの判定を通しています。作ったから売るのではなく、 毎回使っているものをお渡しする形です。公式APIを使った収集も日常的に実装していて、 そちらで取れる対象であればそれを選びます。 ■ 手で確かめると 1サイトあたり、robots.txtを読み、規約を探して該当箇所を拾い、記録に残すまでで30分ほど。 対象が5つあれば半日が消えます。収集そのものを外注すると、私の出品でも6,000円からです。 ■ 使い方 URLが1本あれば始められます。 python3 robots_check.py https://example.com/items/ 禁止が見つかると、自動化に組み込めるよう終了コードで返します。 判断に迷う対象があれば、購入前でもURLだけお送りください。確認してお返事します。