米Yahoo!は,Webクローリング技術の最新版「Slurp 3.0」を正式に稼働開始したことを,同社検索事業の公式ブログへの投稿で米国時間2008年4月14日に発表した。

 Slurpは同社の検索サービス「Yahoo! Search」の検索ロボットで,Webを巡回してインデックス化を実行する。同社は数週間前から最新版の準備に取りかかっており,インフラのアップデートなどを行っていたという。

 Slurp 3.0は,従来と同じ「crawl.yahoo.net」ドメインから動作するため,ユーザー・エージェントあるいはrobots.txtで「Yahoo! Slrup」と指定していれば制御できる。

 ただし,Slurp 3.0は新たなユーザー・エージェント名「Yahoo! Slurp/3.0」を発行するので,これまで「Slurp/2.0」と指定していた場合は,認識されなくなる。

 また,IPベースで巡回プログラムの認識を設定している場合も,バージョンアップによる影響を受ける。

 ちなみに検索エンジンの競合である米Googleも,数カ月前から特別なクロール処理をテストしていることを4月13日に明らかにした。同テストでは,通常の巡回プログラムでは取得できない情報を検索エンジンで見つけられるようにする(関連記事:Google,クロール時のHTMLフォーム自動入力でディープWebも検索対象に)。

[公式ブログへの投稿記事]