GRLabSurveyBot について

このページは、GRLabSurveyBot という名前でアクセスするクローラーの身元と目的を説明するものです。アクセスログでこの名前を見つけた方に向けています。

何をしているか

日本のウェブサイトが、生成AIのクローラー(GPTBot、ClaudeBot、Google-Extended など)をどのように扱っているかを継続的に調査しています。

取得するのは、以下の公開ファイルのみです。

ページ本文の取得、コンテンツの複製、AIの学習データとしての利用は一切行いません。集計結果は統計値として公開する予定ですが、個々のサイトを名指しで評価することはしません。

同一サイトへの間隔	1秒に1リクエストを超えません
1サイトあたり	1回の調査につき通常は最大4リクエスト。次の場合は `www` 側の `robots.txt` も取得するため最大5リクエストになります。 apex(`www` なし)が DNS・TLS・接続のエラーで応答しない場合 apex と `www` で `robots.txt` が異なるかを確認する標本調査の対象になった場合 (コホートからランダムに抽出した200サイト)
応答がない場合	各リクエストを1回だけ再試行します。再試行も上記の間隔を守ります(合計の接続試行はこの2倍が上限)
調査の頻度	月1回程度
robots.txt の尊重	従います(下記)

robots.txt に以下を記述してください。次回の調査から取得を停止します。

User-agent: GRLabSurveyBot
Disallow: /

この記述自体も調査データとして記録されますが、それによってサイトが不利に扱われることはありません。

質問・停止依頼・データの訂正依頼は下記まで。 robots.txt を待たずに即時停止したい場合もこちらへどうぞ。