robots.txt

robots.txt

ボットのアクセスに対するルールが書かれている

User-agent:

対象のボット

　すべて

User-agent: *

Disallow:

指定したパスをアクセス禁止

　すべて

Disallow: /

Allow:

指定したパスをアクセス許可

Sitemap:

XMLサイトマップの場所を指定する
サイト内のページやコンテンツを通知し、クローラーが効率よくウェブサイトをインデックスするために役立つ

記述の順序

後に書いた記述が優先される

ex) すべてのアクセスを禁止した後に、一部のアクセスを許可する

ワイルドカード

　すべて

*

コメント

#コメント