この記事は月刊誌『日経情報ストラテジー』で連載中の「『次の一手』の効果を評価するビジネス分析術」と連動しています。ビジネスの現場で講じているビジネスの戦術が果たして有効なのかどうかを、データ分析で見極める手法を紹介していきます。

　雑誌では、「データ分析をどのようにビジネス戦術の評価につなげていくか」を中心に解説しています。このITpro連動記事では、一歩踏み込んで分析のやり方を具体的に紹介していきます。

　第1回は「A/Bテスト」における評価を取り上げます。A/Bテストは、ウェブサイトでデザインが違うA案とB案を同時に異なるユーザーに出し分けて反応をみることで、良いデザインを見極めていくことなどができる手法です。企業でも広く採用が進んでいます。データ分析の具体的なやり方を紹介していく前に、簡単に雑誌で解説した内容をおさらいしておきましょう。

　A/Bテストのポイントは、複数の案を実際に試してみて、どの案が有効なのかを評価していることです。過去のデータを基に1つの戦術を練り上げていく従来のやり方とは、大きく異なっています。

　しかし、A/Bテストの結果を評価するうえでは課題もあります。テストでは限られたユーザーから得たデータを基に、評価していかなくてはなりません。「A案よりB案のクリック率が高い」という差が出る結果を得ても、それが「たまたまそうなったから」という懸念がつきまとい、「B案のクリック率が高い」と断言しづらいことがあります。

　これらの課題は統計学で解消できます。統計学では、ごく一部のサンプルデータから母集団の傾向を把握できます。具体的には、「有意確率」という指標を使えば、サンプルデータの数が少なくても、「B案のクリック率は高い」と断言するための判断材料になるのです。

　以上が、雑誌の連載記事のあらすじでした。ではこのA/Bテストの結果を有意確率で評価していく方法に移りましょう。

　ここでは、雑誌の連載記事で用いたA/Bテストのデータで、差があるといえるか否かを検証する「カイ二乗検定」をExcelで行う方法を紹介します。これが有意確率を導き出す方法になります。