企業情報システムを開発した後でその効果を評価する---これは、企業にとって非常に重要なことではあるが、とても難しい課題である。企業情報システムにかかわる「永遠の課題」の一つと言ってもよいだろう。

　企業情報システムの最終的な目的は、言うまでもなく、企業の利益や売上高を向上させることだ。そう考えると、効果を事業収益などの金額に置き換えて、ROI（Return On Investment）などを評価するのが最も分かりやすい。しかし、通常は収益に対する情報システムの貢献度合いが明確ではないので、効果を金額に換算するのは不可能に近い。

　システムの利用回数や問い合わせ件数など、金額以外の非財務的指標で評価する方法もある。だがこの方法も、評価できる効果の範囲が、選択した指標が示す範囲に限られてしまうという問題がある。

　エンドユーザーや経営層など、システムにかかわる人たちにアンケート調査を実施して、満足度を測る方法もある。アンケート調査は、BtoC型のECサイトやポータルサイトのようにユーザー数が多い場合は、適切に統計処理することで正しい結果を導くことができるかもしれない。だが、ユーザー数が少ないシステムの場合は、統計処理できるだけの回答数を集められないので、あまりあてにならない結果になってしまう。

　このように、企業情報システムの効果の評価方法は、いまだに決定打がない状況であり、評価方法が体系的に整理されているわけでもない。こうした中、「情報システムの有効性評価のための手法をきちんと整理したうえで，評価のためのガイドラインを例示する」ことを目的としたグループが、情報処理学会内で2010年9月から活動を開始している。「情報システムの有効性評価手法分科会」がそれだ。分科会の幹事は、情報システム総研の児玉公信副社長と産業技術大学院大学の戸沢義夫教授。メンバーは17人で、昨年9月以来、隔月でミーティングを開いている。活動期間は当面2年間の予定なので、来年にはなんらかの成果をまとめる予定だ。

　情報処理学会の分科会だけあって、「研究論文を書くための情報システムの評価方法」に重心が置かれている面もあるが、最終的には、研究者だけではなく企業でも利用できるガイドラインを提示することが目標である。分科会ではこれまで、予備調査的に情報システムの有効性評価について取り上げた論文を調査してきた。今後は、いよいよなんらかのガイドラインの作成にとりかかる予定だ。これから着手することを検討しているのは、（1）システムの効果を評価するためのアンケート調査のひな形を提示と（2）新しい評価方法の提示。新しい評価方法としては、情報システムを「質的に評価する」ための指針やガイドラインを提示することを検討している。

　冒頭で述べたように、企業情報システムを金額や非財務的指標、アンケート調査などで“定量的に評価する”手法には、様々な課題がある。分科会が質的な評価方法に着目しているのは、定量的な手法の限界を補える可能性があるからだ。具体的に検討しているのは、看護学や心理学などで広く利用されている「GTA（Grounded Theory Approach）」と呼ぶ手法である。

　GTAと言われてもピンと来ないと思うので、簡単に紹介しておこう。GTAは、社会学者のBarney GlaserとAnselm Straussによって提唱された、「質的研究方法」と呼ばれる手法の一つである。インタビューで集めた文章を分析して、目に見えない「構造とプロセス」を明らかにする。“グラウンデッドセオリー”という字面だけを見ると、なにやら高尚で難解なイメージを受けるが、やり方そのものは結構単純である。

　まず、インタビューやディスカッションなどでデータ（文章）を集める。次に、文章を一つの内容ごと（例えば一文ごと）に区切り、それぞれに概念を表すラベル（名前）を付けた後で、複数のラベルを「カテゴリー」にまとめる（この作業を「オープンコーディング」と呼ぶ）。その後、複数のカテゴリーをカテゴリーとサブカテゴリーにまとめ（これを「アクシャルコーディング」と呼ぶ）、現象（一つのカテゴリーとサブカテゴリーの組み合わせ）同士を関係付ける（これを「セレクティブコーディング」と呼ぶ）。これが、最終的に生み出した「理論」になる。「データに基づいて理論を産出する」ことから、“グラウンデッドセオリー”という名称が付いている（参考文献：戈木クレイグヒル 滋子編「質的研究方法ゼミナール」）。

　この方法を使えば、ユーザー数が少ないために統計的な手法が使えないときでも、インタビューなどに基づいて、情報システムの効果を分析できるかもしれない。GTAには、「本当に一切の偏見なしに概念を抽出できるのか」といった批判もあるようだが、システムにかかわる人間に焦点を当て、彼らの生の声に基づいて効果を論理的に導き出すという考え方自体は、（すべてのシステムに適用できるかどうかは別にして）とても興味深い。GTAをシステム評価に利用するための指針やガイドラインについて分科会の成果がまとまったら、アンケート調査のひな形とともに、ぜひITproでも紹介したいと考えている。