米Google，米Microsoft，米Yahoo!はロボット排除プロトコル「Robots Exclusion Protocol（REP）」の実装手法について，より詳しいドキュメントを，米国時間2008年6月3日にそれぞれの公式ブログ上で公開した。Webサイト運用者に共通のインプリメンテーションを提供し，より多くのパブリッシャにREPを理解してもらいたいとしている。
REPは，検索エンジンによるクローリングやインデックス化などを制御するための手続きを定めたもの。パブリッシャは，自身のサイト内の各ページについて，タグなどを埋め込むことによって検索結果に載らないように設定することができる。
Google製品マネージャのPrashanth Koppula氏によると，ほとんどの検索エンジンがREPを認識しているが，さまざまなタグに対する各社の解釈の仕方については共有していないという。
今回，Google，MicrosoftおよびYahoo!が公開した情報は，3社すべてが採用している主なREP機能のほか，いずれかが独自に実装している機能も含まれる。各社の情報ソースへのリンクも掲載している。
[Googleのプレス・リリース]
[Googleの公式ブログ]
[Microsoftの公式ブログ]
[Yahoo!の公式ブログ]
