Webサイトからデータを集めたいとき、やっていいことと駄目なこと

記事

IT・テクノロジー

2026/08/15 07:18

競合の価格を毎週チェックしたい。求人サイトから条件に合う情報を集めたい。自社の商品が他店でいくらで売られているか知りたい。

こうした作業を手で続けるのは現実的ではないので、自動で集める（スクレイピングする）という話になります。ただ、ここで多くの人が止まります。「それって勝手にやっていいの？」という不安があるからです。

結論から言うと、やっていいことと駄目なことの線はかなりはっきりしています。この記事では、依頼する側が判断できるように、その線を整理します。

まず「robots.txt」を見る

ほとんどのサイトには `robots.txt` という1枚のファイルが置かれています。`サイトのURL/robots.txt` をブラウザで開けば誰でも読めます。

ここには「このページは自動で取得しないでください」という、サイト運営者の意思表示が書かれています。`Disallow:` の後ろに書かれたパスが、取得しないでほしい場所です。

これは法律ではありませんが、運営者が明示した意思です。ここを無視して取得するのは、依頼する側にとってもリスクになります。まずここを見る。それだけで判断できることが多くあります。

次に利用規約を見る

規約に「自動的な手段によるアクセスを禁止する」といった条項があるサイトは珍しくありません。特に大手の通販サイトや求人サイトには、ほぼ確実に書かれています。

規約で禁止されているサイトからの取得は、受けるべきではありません。誠実な業者であれば、ここで断ります。断られたら、その業者はむしろ信頼できます。

やっていいこと

・公開されているページの情報を、常識的な頻度で取得する
ログインなしで誰でも見られる情報が対象です。頻度は、人が手でアクセスする程度を目安にします。1秒に何十回も叩くのは、相手のサーバーに負荷をかける行為です。
・取得した情報を、社内の分析や比較に使う
価格調査、競合調査、市場の傾向把握。これらは正当な用途です。
・公式のAPIが用意されている場合は、そちらを使う
多くのサイトは、開発者向けにデータを取り出す正規の窓口を持っています。あるならそれが最善です。安定していて、規約上も明確です。

駄目なこと

・ログインが必要な領域から取得する
会員限定ページ、マイページ、有料エリア。ここは「公開情報」ではありません。
・個人情報を集めて再利用する
氏名、連絡先、口コミの投稿者情報など。目的外の利用は法律の問題になります。
・著作物をそのまま再配布する
記事本文、写真、レビューの文章。事実データ（価格・在庫・型番）と、著作物（文章・画像）は分けて考えてください。
・相手のサーバーに負荷をかける取得
短時間に大量のアクセスを送る行為は、それ自体が問題になり得ます。

依頼するとき、業者に確認すべき3点

外注する場合、次の3つを聞いてみてください。答えられない業者には頼まないほうが安全です。

1. 取得元のrobots.txtと規約は確認しますか
「確認したうえで、できない場合は着手前に伝えます」と答えるのが正しい姿勢です。「大丈夫です」だけで根拠を示さない相手は避けてください。

2. 取得の頻度と間隔はどうしますか
相手のサーバーへの配慮を設計に入れているかが分かります。

3. 取得元・取得日時・件数は納品物に含まれますか
これがないと、後から「このデータはいつ、どこから取ったのか」が分からなくなります。データの信頼性そのものに関わる部分です。

取れない場合の代替案もある

規約上できないと分かったとき、そこで終わりではありません。

・公式APIの利用：正規の窓口があれば、規約上も安定性も最善です
・公開データセット：官公庁や業界団体が公開しているデータで代替できる場合があります
・手作業＋整形の自動化：取得だけ人が行い、その後の整形・集計を自動化する。これでも作業時間は大きく減ります

「取れないから諦める」ではなく、目的から逆算して別の手段を探す。ここまで一緒に考えてくれる相手を選んでください。

まとめ

判断の順番はシンプルです。robots.txtを見る → 規約を見る → 公開情報かを確認する → 頻度に配慮する。この4つを通れば、多くのケースは問題なく進められます。

そして、できないことを正直に言う業者を選んでください。取れないものを「取れます」と言う相手に頼むと、リスクは発注側に返ってきます。