ニュース

GoogleはRobots Exclusion Protocolをインターネット標準にしようとする活動において、それを正式にまとめた

Robots Exclusion Protocol（REP）は、1994年以来、クローラーがWebサイトにアクセスするのを防ぐ方法を定義するルールを管理している。現在、Googleはインターネット技術標準化のためにIETF（Internet Engineering Task Force）にドラフトを提出している。さらに、Googleはプロトコルの実装をオープンソース化した。