Google、robots.txt仕様のWeb標準化目指す

2019年7月5日 20:49

　Googleが、検索エンジンなどのクロールボット（クローラ）に対しクロール禁止などの指示を出すためのファイル「robots.txt」の仕様の標準化を目指すことを発表した（ドラフト案、ITmedia）。

　robots.txtの仕様は「REP（Robots Exclusion Protocol）」や「Robots Exclusion Standard」などと呼ばれている。多くのクローラはこのファイルを確認してクロール頻度やインデックスの制御を行っているが、標準化されていないためにクローラによって解釈が異なったり、一部のクローラのみが認識するディレクティブが存在するといった状況になっていた。