Webサイトを運営していると、「robots.txt（ロボッツテキスト）」という言葉を耳にすることがあります。普段のサイト閲覧では目にしない存在ですが、検索エンジンとの付き合いにおいて、非常に重要な役割を担っています。
今回はこのrobots.txtについて、初心者の方にもわかりやすくご説明します。
■ robots.txtってなに？
robots.txtとは、Googleなどの検索エンジンのロボット（クローラー）に対して、「このページは見ていい」「このページは見ないで」といった指示を出すための設定ファイルです。
ホームページの中で、検索結果に出てほしくないページや、見せたくないフォルダなどを伝えるために使われます。
■ どんなときに使うの？
たとえば以下のようなケースで使われます：
テスト中のページや準備中のコンテンツを非公開にしたいとき
ログインページや会員限定ページを検索結果に表示させたくないとき
SEO対策として、重要なページのクロールを優先させたいとき
検索エンジンはこの指示をもとに、クロール（ページの読み取り）をコントロールします。
■ 注意しておきたいこと
robots.txtはあくまで「お願い」ベースの仕組みです。検索エンジンによっては指示を守らないこともあります。また、robots.txtで「見ないで」と書いたページも、外部からリンクが貼られている場合は検索結果にURLだけが表示されてしまうこともあります。
本当に見せたくないページがある場合は、他の方法（パスワード保護やnoindex設定）との併用が必要です。
■ 最後に
robots.txtはWebサイトにとって小さな存在ですが、SEOやセキュリティの観点から非常に重要な役割を持っています。思わぬページが検索結果に出てしまう前に、ぜひ一度、自分のサイトのrobots.txtを確認してみてください。
