表1●評価に使ったかな漢字変換ソフト
図1●Windows版の変換精度
10種類のコーパスで評価した。軒並み95%以上の精度が出ている。
図2●Macintosh版の変換精度
手入力したためコーパスの種類が四つと少ない。変換精度はWindows版と遜色ない結果が出た。
かな漢字変換は,最も頻繁に利用するソフトウェアである。どのソフトも高い変換精度を持っているが,まだまだ十分とは言い難い。実験を通じて三つの課題が見えてきた。

 かな漢字変換ソフトは空気のような存在だ。存在を意識することは少ないが,これほどいつも使っているソフトウェアはない。メールを書く,報告書を作る,Web上の情報を検索する。アプリケーションの種類を超えて,常に使うものだ。

 だから,かな漢字変換ソフトはパソコンの使用感を大きく左右する。思った通りに変換できなければ,余分なキーを叩いて訂正しなければならない。思考が中断されてしまうというマイナスもある。

 市販のかな漢字変換ソフトを検証したところ,どれもかなりの水準にあることが分かった。評価の対象として選んだのは,WindowsとMacintosh用のかな漢字変換ソフト7製品(表1[拡大表示])。それぞれのOSの最新版である,Windows XP,Mac OS Xに対応していることを選択の基準にした。

 入力する文章にもよるが,軒並み95%以上の精度で変換できる(別掲記事「多種類のコーパスで偏りをなくす」参照)。短く文節単位で変換しても長く文単位で変換しても安定した力を発揮した。ただ,苦手なジャンルがあることも明らかになった。

 なおLinux版については,今回は評価を見送った。Linux用の商用ソフトのほとんどがWindows版を出していること,そしてバージョンがWindows版よりも古いことがその理由である。Windows版やMacintosh版のOSの最新版に対応した製品がない,オムロンソフトウェアの「Wnn7」については,機会を改めて評価してみたい。

文章の種類によって差がある

 Windows版の4製品では,10種類の文書群(コーパス)を使って評価した(図1[拡大表示])。変換精度を見ると成績が良いのは新聞記事だ。乱れの少ない典型的な書き言葉が使われているからだ。また新聞記事はコーパスとして比較的手に入れやすいので,各メーカーとも変換精度の評価に使っていることが多い。ここで得られた評価結果を基にソフトをチューニングするので,結果として新聞記事の変換には強くなる。

 ただし,政治記事だけはどれも苦手だ。原因の一つに,政治家の人名が多く含まれていたことが考えられる。辞書に登録されていなかったり,他の語に引きずられて区切りを間違えたりして変換に失敗していた。同音異義語が多い語が頻繁に登場していたことも挙げられる。同じ読みだが別の意味を持つ言葉に変換されてしまっていた。

 同じく,すべてのソフトで成績が悪かったのが日経バイトの記事である。多くの失敗が,技術系の専門用語に絡むものだった。辞書に登録されていない語が多く使われていたためだ。

 専門用語と並んで辞書に登録されていない言葉が多く,正しく変換できなかったのが口語体だ。小説「手袋を買いに」とインタビュー記事には,口語体の表現が多く含まれる。どちらも,新聞記事などに比べれば精度が悪い。

 また「手袋を買いに」については,音読した場合に読み方が変わるものが辞書に登録されておらず,変換に失敗するケースが目立った。例えば「母さん狐」。「かあさんきつね」ならば正しい結果が出るが,通常音読する通り「かあさんぎつね」という入力でも正しく変換してほしい。しかしこれを「母さん/着/常」「母さん/議/つね」と変換してしまうソフトがあった。

Macのかな漢字もWindowsと同等

 Mac OS X用のかな漢字変換ソフト3製品についても評価した。バックスの「VJE-Delta Ver.4.0」はMac OS X版もあるが,「Windows版との違いは,辞書の内容を更新している点にある。基本的な変換アルゴリズムは変えていない」(バックス国際言語処理システム部の藤川礎久グループマネージャー)というので,詳細な評価は割愛した。ATOKはWindows版とバージョンが違うので,Macintosh版も評価対象とした。

 Macintosh版では,4種類のコーパスを利用した。Windows版に比べて少ない理由は,自動でテストできるツールがなかったため。すべて手で打ち込む必要があったので,時間的な問題から4種類のコーパスに絞った。

 結果を見ると,Macintosh版のかな漢字変換ソフトはWindowsと遜色ないレベルに到達していることが分かる(図2[拡大表示])。Windows版と同じく,どれも95%以上の精度を実現している。結果の傾向もWindows版と同じだ。新聞記事の変換精度が良く,日経バイトで落ちている。体感的にも,Windowsの製品と比べて悪い印象は抱かなかった。

(八木 玲子=日経バイト)

表A●利用したコーパスの一覧
さまざまな分野を網羅できるように,10種類の文書データを用意した。
画面A●IME METER
バックスが公開しているもの。インストールされているかな漢字変換ソフトを選択し,変換結果を出力させることができる。

多種類のコーパスで偏りをなくす

 かな漢字変換の評価は難しい。自然言語というあいまいで無限なものを対象にしている以上,絶対的な正解が存在しないからだ。「標準的な評価手法はない」(東京大学情報基盤センターの田中久美子助教授)のが実情だ。

 このためメーカーは,各社独自の方法で製品を評価している。どこのメーカーでも共通しているのが,大量の文書群(コーパス)を使う方法だ。コーパスに含まれる漢字かな交じり文をひらがなに直して,ソフトに変換させる。その結果を元のデータと比較して精度を見る。文書データは「全部合わせればギガバイトの単位」(マイクロソフトプロダクトディベロップメントリミテッドの佐藤良治マネージャ)に及ぶ。新聞記事や小説,メールマガジンなど,データの種類もさまざまなものを用意する。

 今回は,そこまで大がかりな実験はしていない。しかしできるだけ偏りのない公正な評価をするため,種類の違うコーパスを10種類用意した(表A[拡大表示])。これに含まれている文字列を句読点で区切り,その単位でソフトに変換させてみることにした。ソフトはすべてインストール時の状態で,学習機能を無効にして試した。

 Windows版の製品に対しては,バックスがWebサイトで公開している「IME METER」というテストツールを利用した(画面A[拡大表示])。入力ファイルとして,ひらがな文字列とそれに対応する漢字かな交じり文をタブで区切ったテキスト・ファイルを用意する。ツールはこれを読み込んで,Windowsの標準APIを使って指定したソフトに変換を実行させる。得られた変換結果と正解文を比較し,正解文のうち何文字が正しく変換されたかを出力する。

 ただし不正解とされた文字には,「さっそく」と「早速」,「二千三」と「二〇〇三」など,単なる表記の揺れによるものが多く含まれる。これを間違いとするのは不当なので,変換結果をすべて目視でチェックし,表記揺れによる不一致文字は正解としてカウントした。

 また人名については,広く知られた政治家や文化人,芸能人などは漢字が一致していなければ不正解とした。それ以外の一般の人の名前は,「花子」と「華子」などの漢字の不一致は正解と見なした。ただし区切り間違いを起こしている場合は不正解とした。

 Macintosh版の製品も,基本的に同じ基準で評価した。ただしIME METERのような評価ツールがなかったことから,新聞記事(経済),技術系読み物,一般読み物,インタビュー記事の4種類に絞った評価とした。これらをすべて手で打ち込み,目視で正解と比較した。

 ここで気をつけなければならないのは,入力方法が違うためWindows版の精度と単純な数値の比較ができないということだ。例えばWindows版では,アルファベットについては全角のアルファベットを入力させて変換した。手で入力すればうまくいくのに,ツールで機械的に入力した場合うまく変換できない,という現象が見られた。この点では,Macintosh版の方が若干有利である。またMacintosh版は評価がすべて目視によるものだったため,注意したつもりでもチェックが甘くなった可能性がある。多少差し引いて結果を見てほしい。

 また,この評価でかな漢字変換ソフトの使い勝手を完全に評価できるわけではないことにも注意が必要だ。「コーパスを使った方法では,コーパスに含まれていない単語の変換結果は評価できない。また,ユーザーの体感精度は分からない。リアルな状況で多人数に使ってもらうなどのテストも必要」(マイクロソフトプロダクトディベロップメントリミテッドの佐藤氏)。ただし公正な体感試験を実施するのも困難な作業だ。使い勝手の良さには慣れの要因が大きいため,ユーザーが普段使っているソフトの評価が高くなる傾向がある。