「怪しいアクセスが増えたので、ボット対策をオンにした」
「AIに勝手に読まれたくないので、ブロックの設定を入れた」
そのあとから、検索での表示が急に減った、という相談があります。
2026年11月11日、Googleの検索チームは公式ブログで、この問題を取り上げました。
ボット対策を一律に強めると、Googleの検索ロボットまで止めてしまい、続くとページが検索結果から消えるおそれがある、という内容です。
この記事では、小さな会社のホームページで確かめたいことを、順番にまとめました。
■なぜ、Googleまで止まってしまうのか
ボット対策は、人ではない自動のアクセスを見分けて止める仕組みです。
ところが、Googleの検索ロボットも「人ではない自動のアクセス」です。
設定によっては、ロボットに「人間かどうかの確認画面」が出され、そこで止まってしまいます。
Googleは、確認画面やエラーばかり返すサイトを、「わざと止めている」か「壊れている」と受け取ります。
■最近増えている「AIを止める設定」にも注意
AIの学習に使われたくない、という理由で、ブロックの設定を入れる会社が増えています。
ただ、検索とAIの学習の両方に使われるロボットもあります。
たとえばCloudflareという配信サービスの説明では、学習用の「ブロック」は、こうした両方に使うロボットにも当てはまる、とされています。
AIだけを止めたつもりで、検索のロボットまで止めることがあるので、設定の意味を確かめてから使いましょう。
■まず自分で確かめること
1. Search Consoleの「URL検査」で、トップページを「公開URLをテスト」する
2. 「ページを取得できませんでした」や、エラーの番号が出ないかを見る
3. 「設定」の中の「クロールの統計情報」で、エラーが急に増えた日がないかを見る
4. その日に、ボット対策やセキュリティの設定を変えていないかを思い出す
日付が重なっていれば、設定が原因の可能性が高いです。
■確かめたい設定の場所
・Cloudflareなどの配信サービスの、ボット対策・AIクローラーの設定
・サーバー会社の管理画面の、WAF(不正アクセスを止める機能)や、海外からのアクセスを止める設定
・WordPressのセキュリティプラグインの、ボットや大量アクセスを止める設定
どれも「止めた記録(ログ)」が見られることが多いので、Googleの名前が並んでいないかを見ます。
■直し方の考え方
止める範囲を、全部から「必要なものだけ」に変えます。
・「確認済みのボットは許可」の項目があれば、オンにする
・AIの学習を断りたいだけなら、検索用のロボットは許可したままにする
・止めたい相手が決まっているなら、その相手だけを止める
直したら、もう一度「URL検査」でテストし、取得できることを確かめます。
■Googleを名乗る偽物もいる
ログに「Googlebot」と書かれていても、本物とは限りません。
名前だけをまねた、偽物のアクセスもあります。
Googleは、本物のロボットが使う住所(IPアドレス)の一覧を公開しています。
配信サービスやWAFの「確認済みのボット」の機能は、この一覧で見分けてくれるので、自分で一つずつ調べる必要はありません。
■一時的に止めたいときは
アクセスが集中して、サーバーが重くなることもあります。
Googleは、どうしても一時的に読み込みを減らしたい場合は、「混み合っています」という意味の返事(429か503)を返し、数時間から、長くても1〜2日にとどめるよう勧めています。
確認画面で止めたり、長く止め続けたりするのは避けましょう。
■やってはいけないこと
・原因が分からないまま、セキュリティの機能を全部オフにする
・同じような防御のプラグインを、いくつも重ねて入れる
・設定を変えた日と内容を、記録に残さない
守りを外すのではなく、止める範囲を整えるのが目的です。
■確かめるためのチェックリスト
・URL検査で、トップページが取得できる
・クロールの統計情報で、エラーが急に増えていない
・ボット対策で、確認済みのボットが許可されている
・AIを止める設定が、検索用のロボットまで止めていない
・設定を変えた日と内容を、メモに残している
■よくある質問
Q. robots.txtで止めていなければ大丈夫ですか?
A. robots.txtはお願いのようなものです。ボット対策やWAFは、それとは別に、アクセスそのものを止めます。両方を確かめましょう。
Q. 表示が減ったのは、アップデートのせいではないのですか?
A. その可能性もあります。設定を変えた日とエラーが増えた日が重なるかで、見分けられます。
Q. 直したら、すぐ元に戻りますか?
A. Googleがもう一度読みに来るまで、少し時間がかかります。数日から数週間ほど様子を見てください。
■設定の見直しを任せたい方へ
ご自分で管理画面を開いて確かめられる方は、この手順で十分です。
「どの設定が原因か分からない」「守りを弱めずに直してほしい」という方には、WordPressの不具合の修正をお受けしています。
ログと設定を確かめ、検索のロボットだけを通す形に整えます。
WordPressの修正・不具合を解決します