Google、robots.txt仕様のWeb標準化目指す

　Googleが、検索エンジンなどのクロールボット（クローラ）に対しクロール禁止などの指示を出すためのファイル「robots.txt」の仕様の標準化を目指すことを発表した（ドラフト案、ITmedia）。

　robots.txtの仕様は「REP（Robots Exclusion Protocol）」や「Robots Exclusion Standard」などと呼ばれている。多くのクローラはこのファイルを確認してクロール頻度やインデックスの制御を行っているが、標準化されていないためにクローラによって解釈が異なったり、一部のクローラのみが認識するディレクティブが存在するといった状況になっていた。

　あわせてGoogleはrobots.txtを解釈するためのライブラリ「robotstxt」も公開している。

　スラドのコメントを読む | ITセクション | テクノロジー | Google | ソフトウェア | インターネット | ロボット

　関連ストーリー：
Apple、Applebotの存在を公式ドキュメントに記す 2015年05月08日
Googleの「killer-robots.txt」、創業者2人に対しては「Disallow」を指定 2014年07月07日
XCOM GLOBALの情報流出事件でrobots.txtが話題に 2013年05月28日
Disallow:/iraq ― ホワイトハウスの robots.txt 2003年10月28日