robots.txtから、ChatGPTやAIによる概要に出ない原因を特定します
デジタルマーケティングのフリーランスです。
SEO・CRO・AI検索対策（LLMO/GEO/AIO）を専門にしています。
6年間で約50社の支援に関わってきました。
こちらでは、AI検索対策の「診断」をお受けしています。
ChatGPTやGoogleのAIによる概要に自社が出てこない、というご相談が増えました。
ただ、原因を見ないまま対策から入ると、たいてい効かない施策に工数が乗ります。
【よくある誤解を1つだけ】
GPTBotをブロックすれば安全、という話があります。
GPTBotは学習用です。ChatGPTの検索結果に表示するために来るのは
OAI-SearchBotという別のクローラーです。
この2つをまとめて拒否すると、学習は止まりますが、
ChatGPTの回答からも消えます。
同じ構造がAnthropicにもあります。
ClaudeBotが学習用、Claude-SearchBotが検索用です。
GoogleのGoogle-Extendedは学習用ですが、これをブロックしても
Google検索のインデックス収録とランキングには影響しません。
これはGoogleが公式ドキュメントで明言しています。
【診断の進め方】
対象サイトのURLだけをいただきます。
GA4やSearch Consoleの権限、管理画面のログイン情報はいただきません。
ヒアリングもありません。
WordPress以外でも診断できます。
Shopify、Wix、STUDIO、Jimdo、自社開発のサイトでも、
公開されているページであれば同じように見られます。
【お渡しするもの】
・クローラー制御、構造化データ、コンテンツ形式など32項目の診断結果
・優先順位をつけた改善指示書
・そのまま貼れるrobots.txtの設定
3つ目を重視しています。
「何が悪いか」だけでなく「これを貼ってください」という形でお渡しします。
なお、今の設定のままで問題ないクローラーには、あえて何も書きません。
robots.txtは、そのクローラーを名指しした記述を足した瞬間に、
「すべてのクローラー向け」に書いた指定を読まなくなります。
良かれと思って足した1行で、既存の制限が外れることがあります。
【判断の根拠について】
診断項目には確度のラベルを付けています。
各社の公式発表に基づくものと、複数の調査で傾向が一致しているものだけを使い、
仮説段階の施策は診断に含めません。
AI検索の仕様は変わります。
今の時点で確かなことと、まだ分かっていないことを分けてお伝えします。
