掲載日・日本時間2026/10/24のNEWS一覧はこちら
robots.txtは巡回とAI学習を分けて考える Googleが標準仕様の範囲を説明
元記事 2026/10/22 19:58(日本時間)
https://www.searchenginejournal.com/google-illyes-robots-txt-crawling-ai-training/593957/ (別タブで開く)
AIによる自動要約・コメント。人による個別確認は行っていません。
Search Engine Journalは、GoogleのGary Illyes氏が、robots.txtの標準仕様はクローラーによるページ取得を制御するもので、取得後のAI学習などの用途を指定するものではないと説明したと報じました。特定のAIクローラーを拒否するには、その識別名を指定します。一方、Google独自のGoogle-Extendedは、将来のGeminiモデルの学習や回答の根拠としての利用を制御し、Google検索への掲載や順位には影響しないとされています。取得を許可しつつ用途の希望を示す標準ルールも提案されていますが、まだ草案であり、確定した仕様ではありません。
出典・編集情報
AIによる要約・コメントです。人による個別確認は行っていません。
- RFC 9309で定義されるrobots.txtは、クローラーが取得できるURLを扱い、取得後のコンテンツの用途は定めません。
- 特定のAIクローラーによるサイト全体へのアクセスを拒否するには、そのクローラーのユーザーエージェント識別名を明示的に指定する必要があると説明しています。
- Google-Extendedは、将来のGeminiモデルの学習と、Gemini AppsおよびVertex AIのGrounding with Google Searchで回答の根拠に使うことを制御します。
- Googleの説明では、Google-ExtendedはGoogle検索への掲載に影響せず、順位付けの指標でもありません。
この記事の更新 2026/10/24 08:09(日本時間)
要約は出典の内容、コメントは編集上の解釈・提案です。対象地域や提供条件などの詳細は元記事で確認してください。

このニュースの見方
検索からの集客を続けながら自社コンテンツのAI利用を制限したい会社なら、「巡回を止めたいのか、取得後の利用を制限したいのか」を分けて考えるのがよさそうです。AI向けの設定を一つ加えれば、すべての用途に対応できるわけではありません。
記事が示すのは、robots.txtの標準仕様と、各社が独自に定める利用制御の違いです。Google-Extendedも、Googleの説明上は学習だけでなく回答の根拠としての利用を含むため、「学習だけを断る設定」と受け止めると、自社の意図とずれる可能性があります。
今回の説明はGoogle側の仕様説明として読む必要があり、他社のAIにも同じ効果があるとは限りません。用途を指定する標準ルールはまだ草案なので、現状の利用方針に困りごとがなければ、草案を理由に設定変更を急がず、対象サービスごとの違いを把握する段階でもよさそうです。
次の一手のヒント
自社が制限したいのは、特定AIによるページ取得、学習への利用、回答の根拠としての利用のどれかを考えてみましょう。