AI クローラーと robots.txt: どれを許可し、どれをブロックするか
AI のクローラーには、検索の回答に出るためのもの、モデルの学習に使うもの、人の質問に応じてページを読むものがあります。どれをブロックするかで、失うものが違います。各ガイドで、用途、ユーザー エージェント、robots.txt の正確な書き方、ブロックしたときの影響、本物の確かめ方を説明します。
検索のためのクローラー
AI 検索や検索エンジンの回答に、ページを出すためのクローラーです。多くの場合、許可しましょう。
モデル学習のためのクローラー
AI モデルの学習用にページを集めます。ブロックするかはサイト運営者が決めることで、検索には影響しません。
人の質問に応じて読むもの
人が AI に頼んだときにページを読みに来ます。自分からはクロールしません。
使い道を決めるトークン
クローラーではなく、robots.txt で使い道を決めるためのトークンです。
検索と学習の両方
1 つのクローラーが検索と学習の両方に使われ、学習だけを断るトークンがあります。
Google に載っていないページを確認しましょう
Google アカウントでログインするだけです。CrawlCoach が最大 500 ページを無料でチェックし、問題ごとに直し方を示します。
無料レポートを受け取る500 ページまで無料です。クレジットカードは不要です。Search Console で使っている Google アカウントでログインしてください。
CrawlCoach のアプリとレポートは英語で表示されます。