GPTBot をブロックすべきですか？

これは技術的なデフォルトではなく、ビジネス上の意思決定です。ブロックすれば、ChatGPT 時代の回答や将来の学習からコンテンツが消えます。許可すれば、コンテンツと引き換えに AI サーフェスでの可視性を得られます。見つけられ、引用されたい多くの事業者にとっては、検索・エージェント系クローラーを許可するのが現実的な選択です。

Google-Extended をブロックすると Google の検索順位に影響しますか？

いいえ。Google-Extended が制御するのは、コンテンツを Gemini の学習とグラウンディングに使うかどうかだけです。Googlebot による通常のインデックスと順位付けには影響しません。

AI クローラーは robots.txt を尊重しますか？

主要な名前付きクローラー（GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot）は、robots.txt を尊重すると公に表明しています。名前を名乗らないスクレイパーはその限りではありません。robots.txt はポリシーのシグナルであって、強制の仕組みではありません。

AI クローラー徹底解説 - robots.txt に何を書くべきか

いまや一握りの名前付きクローラーが、あなたのサイトが AI の回答の中に存在するかどうかを左右します。それぞれ目的が異なり（学習、ライブ検索、エージェントブラウジング）、robots.txt で個別に許可も拒否もできます。以下が実践的な見取り図です。

重要なクローラー

User-agent	運営元	何に使われるか
`GPTBot`	OpenAI	モデルの学習と ChatGPT のブラウジングコーパス
`OAI-SearchBot`	OpenAI	ChatGPT の検索結果（ライブ引用）
`ClaudeBot`	Anthropic	Claude の学習と情報取得
`Claude-User`	Anthropic	Claude のユーザーやエージェントに代わって行われる取得
`PerplexityBot`	Perplexity	Perplexity 回答エンジンのインデックス（引用元）
`Google-Extended`	Google	Gemini の学習・グラウンディング（Googlebot の順位付けとは別）
`CCBot`	Common Crawl	多くの研究・AI プロジェクトが利用するオープンなウェブコーパス
`Bytespider`	ByteDance	モデルの学習
`Baiduspider`	Baidu	Baidu の検索インデックス（中国語検索への主要な入口）
`PetalBot`	Huawei	Petal Search のインデックスと AI 機能

デフォルトに任せず、意図して決める

一貫した 3 つのポリシーがあります。意図を持って 1 つを選んでください：

1. オープン（AI サーフェスで見つけてもらう）

# AI crawlers welcome
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

2. 検索は許可、学習は拒否

# Allow live AI search/citation, refuse training corpora
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

3. クローズド

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

どれを選ぶ場合でも、robots.txt には Sitemap: 行を残してください。また、空の、あるいは存在しない robots.txt は、準拠するクローラーにとって「すべて許可」を意味することを忘れないでください。それは不作為による決定です。

監査への影響

当サイトの 30 項目監査はあなたの robots.txt を読み取り、AI クローラーに対する明示的なルールがあるかどうかを報告します。どちらの方向を選んだとしても、沈黙は意図的なポリシーよりも低いスコアになります。エージェントとその運営者は、明確さを評価するからです。

robots.txt と対応度全体を今すぐチェック

よくある質問

GPTBot をブロックすべきですか？: これは技術的なデフォルトではなく、ビジネス上の意思決定です。ブロックすれば、ChatGPT 時代の回答や将来の学習からコンテンツが消えます。許可すれば、コンテンツと引き換えに AI サーフェスでの可視性を得られます。見つけられ、引用されたい多くの事業者にとっては、検索・エージェント系クローラーを許可するのが現実的な選択です。
Google-Extended をブロックすると Google の検索順位に影響しますか？: いいえ。Google-Extended が制御するのは、コンテンツを Gemini の学習とグラウンディングに使うかどうかだけです。Googlebot による通常のインデックスと順位付けには影響しません。
AI クローラーは robots.txt を尊重しますか？: 主要な名前付きクローラー（GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot）は、robots.txt を尊重すると公に表明しています。名前を名乗らないスクレイパーはその限りではありません。robots.txt はポリシーのシグナルであって、強制の仕組みではありません。