米Twitterは現地時間2013年1月8日、リアルタイムのツイート検索向上のために、人力検索エンジンを構築したと発表した。人間の判断が必要な単純作業を仲介する米Amazon.comのWebサービス「Amazon Mechanical Turk」を利用する(Amazon Mechanical Turkベータ版公開時のニュース)。

 2009年1月のハドソン川への旅客機不時着や2012年のBarack Obama米大統領再選などのように、突発的な事件や大きな出来事が発生した際、Twitterでは急激に検索が増加する。このようなとき、ユーザーが検索に使うハッシュタグやキーワードでは、前後の状況を知らないとそれが何を意味するか理解しにくい。

 たとえば昨年「Big Bird」という検索クエリーが急増したが、これは米大統領選の討論会におけるMitt Romney氏の発言に関するものだった。

 また検索の急増はわずか数時間と短いため、ユーザーの要求に応えるには、早急にクエリーの意味をシステムに学習させなければならない。

 リアルタイムの人力検索エンジンでは、急上昇する特定のクエリーについて人間が判断し、注釈などを付けてバックエンドシステムに返す。具体的には、Twitterのリアルタイム処理システム「Storm」で検索クエリーを監視し、上昇キーワードやハッシュタグを検知すると、Amazon Mechanical Turkにそれを送る。そこで人間の判断によってクエリーを分類するほか、様々な設問に答え、関連情報や画像などがあれば補足する。Twitterはこれらの回答と情報を受け取り、システムに戻す。

 TwitterはAmazon Mechanical Turkから入手するデータを、関連ツイートや広告の配信にも役立てるという。米メディアの記事(CNET News.com)では、「Twitterの広告主でもなければ、リアルタイムの人力検索エンジンでサービスが向上すると期待しない方がいい」とも指摘している。

[発表資料へ]