A/Bテストの7ステップ データ分析講座(その269)

投稿日

データ分析

 

データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。従来は手作業で行うものが多い印象がありましたが、現在は色々なツールを幅広く活用するようになっています。例えば、一般的なA/Bテストのためのツールは、サンプルサイズ算出や記述統計量(平均や分散など)、有意差検定などの統計処理をほぼツールが担ってくれるので、データサイエンティストは統計式の羅列や数字の手計算をすることはありません。

 

データサイエンティストは、ツールを使った統計処理やレポーティングではなく、実験そのものについて考えることと、実験結果の解釈を与える(結果を正しく解釈し洞察する)ことが、非常に重要になっています。今回は、データサイエンティストが何をすべきかに言及しつつ「A/Bテストの7ステップ」というお話しをします。

 

【目次】
◆ ワークフローの概要
 1. 現場理解
 2. 実験計画
 3. 実験のセットアップ
 4. 実験の実施とモニタリング
 5. 実験結果の確認と深掘り分析
 6. ネクストステップの検討
 7. 報告書の作成

【この連載の前回:(その268)データ活用はPoVでデータビジネスはPoBでへのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

◆ ワークフローの概要

最初に簡単に、A/Bテストの一般的なワークフローを示します。

  1.  現場理解
  2.  実験計画
  3.  実験のセットアップ
  4.  実験の実施とモニタリング
  5.  実験結果の確認と深掘り分析
  6.  ネクストステップの検討
  7.  報告書の作成

 

それぞれについて、データサイエンティストを主語に、簡単に説明していきます。

 

1. 現場理解

A/Bテストのワークフロー全体の中で最も重要なパートです。データサイエンティストは、現場の方々と一緒に、徹底的に次の2つについて検討すべきです。

  • 実現可能性
  • インパクト

 

先ず、商品やサービスそのものや、ユーザジャーニーがどうなっているのか、現場はどのような仮説をもっているのかを正確に理解する必要があります。その上で、A/Bテストツールなどで実施するのが適切なのか、無理ない形でのランダム化実験が可能なのか、などの実現可能性を検討します。A/Bテストは万能ではありませんし、無理してA/Bテストをすべきものでもありません。不自然なA/Bテストを実施しても、その結果には疑問がつきまといます。さらに、実験的による利益創出やROIなどに注意を払う必要があります。

 

期待される利益は何で規模はどれくらいか、それは短期的なものか長期的なものか、コストパフォーマンスはどうか、などを検討します。

 

2. 実験計画

「1. 現場理解」をもとに、データサイエンティストは現場に対し、例えば次のような実験計画の提案を行います。

  • 検証対象の仮説
  • 実験対象(A群とB群)
  • 無作為化の単位(ユーザ単位なのか、セッション単位なのか、など)
  • 評価指標
  • 必要最小サンプルサイズ
  • 時期と期間、取得サンプルサイズ予想

など

 

3. 実験のセットアップ

簡単に言うと、「2. 実験計画」をもとに、A/Bテストツールなどをセットアップし準備をする、ということです。

 

A/Bテストツールが想定した通り動いているのか、見たいものは見えているのか、設定した内容が反映されているのかなどを確認していきます。人間はミスするということを前手に、確認作業を実施した方が良いでしょう。

 

その中で重要なのが、A/Bテストツールなどで、A群とB群がランダム・アサインメント(無作為割付)が行われているかどうかを確認することです。例えば、ユーザ単位であれば、A群とB群でユーザ属性の分布(性別、年齢など)が均質であるかどうかを、確認するということです。統計的な有意差検定などを利用します。

 

インターネットサービス(ECサイトなど)などでセッション単位であれば、流入元やサイト内の訪問ページ、コンバージョン(購入や申込みなど)などが、A群とB群で均質である必要があります。

 

4. 実験の実施とモニタリング

実験が開始しても、しばらくは統計的な有意差検定などをすることはできません。だからといって、指を加えてデータが蓄積されるのを待っている、というわけでもありません。データサイエンティストが、色々な指標の記述統計(平均や分散など)をモニタリングすることは重要です。

 

A/Bテストツールなどへのセットアップのミスを発見することもありますし、即座に方向修正の検討を開始するきっかけにもなります。

 

5. 実験結果の確認と深掘り分析

実験が終了したら、データサイエンティストは、各種指標の記述統計量を算出し、有意差検定などを実施し、どうなったのかを統計学的視点から結果をまとめます。場合によっては、A群とB群の差の分析をするだけでなく、可能な範囲で深掘り分析を実施していきます。

そこから、A群とB群の差の理由を知るきっかけになることもありますし、想定外の何かを知るきっかけになることもあります。

 

6. ネクストステップの検討

「5. 実験結果の確認と深掘り分析」を経て、データサイエンティストは現場の方と話し会いながら何かしらの結論を出します。...

データ分析

 

データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。従来は手作業で行うものが多い印象がありましたが、現在は色々なツールを幅広く活用するようになっています。例えば、一般的なA/Bテストのためのツールは、サンプルサイズ算出や記述統計量(平均や分散など)、有意差検定などの統計処理をほぼツールが担ってくれるので、データサイエンティストは統計式の羅列や数字の手計算をすることはありません。

 

データサイエンティストは、ツールを使った統計処理やレポーティングではなく、実験そのものについて考えることと、実験結果の解釈を与える(結果を正しく解釈し洞察する)ことが、非常に重要になっています。今回は、データサイエンティストが何をすべきかに言及しつつ「A/Bテストの7ステップ」というお話しをします。

 

【目次】
◆ ワークフローの概要
 1. 現場理解
 2. 実験計画
 3. 実験のセットアップ
 4. 実験の実施とモニタリング
 5. 実験結果の確認と深掘り分析
 6. ネクストステップの検討
 7. 報告書の作成

【この連載の前回:(その268)データ活用はPoVでデータビジネスはPoBでへのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

◆ ワークフローの概要

最初に簡単に、A/Bテストの一般的なワークフローを示します。

  1.  現場理解
  2.  実験計画
  3.  実験のセットアップ
  4.  実験の実施とモニタリング
  5.  実験結果の確認と深掘り分析
  6.  ネクストステップの検討
  7.  報告書の作成

 

それぞれについて、データサイエンティストを主語に、簡単に説明していきます。

 

1. 現場理解

A/Bテストのワークフロー全体の中で最も重要なパートです。データサイエンティストは、現場の方々と一緒に、徹底的に次の2つについて検討すべきです。

  • 実現可能性
  • インパクト

 

先ず、商品やサービスそのものや、ユーザジャーニーがどうなっているのか、現場はどのような仮説をもっているのかを正確に理解する必要があります。その上で、A/Bテストツールなどで実施するのが適切なのか、無理ない形でのランダム化実験が可能なのか、などの実現可能性を検討します。A/Bテストは万能ではありませんし、無理してA/Bテストをすべきものでもありません。不自然なA/Bテストを実施しても、その結果には疑問がつきまといます。さらに、実験的による利益創出やROIなどに注意を払う必要があります。

 

期待される利益は何で規模はどれくらいか、それは短期的なものか長期的なものか、コストパフォーマンスはどうか、などを検討します。

 

2. 実験計画

「1. 現場理解」をもとに、データサイエンティストは現場に対し、例えば次のような実験計画の提案を行います。

  • 検証対象の仮説
  • 実験対象(A群とB群)
  • 無作為化の単位(ユーザ単位なのか、セッション単位なのか、など)
  • 評価指標
  • 必要最小サンプルサイズ
  • 時期と期間、取得サンプルサイズ予想

など

 

3. 実験のセットアップ

簡単に言うと、「2. 実験計画」をもとに、A/Bテストツールなどをセットアップし準備をする、ということです。

 

A/Bテストツールが想定した通り動いているのか、見たいものは見えているのか、設定した内容が反映されているのかなどを確認していきます。人間はミスするということを前手に、確認作業を実施した方が良いでしょう。

 

その中で重要なのが、A/Bテストツールなどで、A群とB群がランダム・アサインメント(無作為割付)が行われているかどうかを確認することです。例えば、ユーザ単位であれば、A群とB群でユーザ属性の分布(性別、年齢など)が均質であるかどうかを、確認するということです。統計的な有意差検定などを利用します。

 

インターネットサービス(ECサイトなど)などでセッション単位であれば、流入元やサイト内の訪問ページ、コンバージョン(購入や申込みなど)などが、A群とB群で均質である必要があります。

 

4. 実験の実施とモニタリング

実験が開始しても、しばらくは統計的な有意差検定などをすることはできません。だからといって、指を加えてデータが蓄積されるのを待っている、というわけでもありません。データサイエンティストが、色々な指標の記述統計(平均や分散など)をモニタリングすることは重要です。

 

A/Bテストツールなどへのセットアップのミスを発見することもありますし、即座に方向修正の検討を開始するきっかけにもなります。

 

5. 実験結果の確認と深掘り分析

実験が終了したら、データサイエンティストは、各種指標の記述統計量を算出し、有意差検定などを実施し、どうなったのかを統計学的視点から結果をまとめます。場合によっては、A群とB群の差の分析をするだけでなく、可能な範囲で深掘り分析を実施していきます。

そこから、A群とB群の差の理由を知るきっかけになることもありますし、想定外の何かを知るきっかけになることもあります。

 

6. ネクストステップの検討

「5. 実験結果の確認と深掘り分析」を経て、データサイエンティストは現場の方と話し会いながら何かしらの結論を出します。

例えば……

  • もう少し実験を続けサンプルを増やし検討すべきだ
  • A群(もしくはB群)が勝ったのだから、その結果に従うべきだ
  • 別の実験を計画し実施すべきだ

……などなど。

 

思ったほどサンプルが集まらなければ、可能なら実験を続けたほうが良さそうですし、十分なサンプルが集まり白黒が付いたのなら、それに従うのもいいでしょう。ただ、十分なサンプルが集まり白黒付いても、深掘り分析の結果から、検証すべき別の仮説が出てくることがあります。

 

そもそも、十分なサンプルが集まったのに白黒付かず、仮説を練り直す必要も出てきます。そのような場合には、別の実験を計画し実施したほうがいいでしょう。

 

7. 報告書の作成

最後に、データサイエンティストは、どのような実験であっても、次の項目を報告書として記録しましょう。

  • 背景
  • 仮説
  • 実験概要
  • 分析結果
  • ネクストステップ

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
需要予測モデル構築時の検討すべきポイント データ分析講座(その251)

  需要予測はビジネスの現場では非常に重要なことです。経験と勘による予測は、時間経過とともに上手く予測できなくなる危険性があります。なによ...

  需要予測はビジネスの現場では非常に重要なことです。経験と勘による予測は、時間経過とともに上手く予測できなくなる危険性があります。なによ...


DXを阻む「鉛筆を舐めておけ文化」 データ分析講座(その231)

  【この連載の前回:データ分析講座(その230)DXという見栄の代償へのリンク】 ◆関連解説『情報マネジメントとは』   ...

  【この連載の前回:データ分析講座(その230)DXという見栄の代償へのリンク】 ◆関連解説『情報マネジメントとは』   ...


最近多いケーススタディ③「お勧め商材のレコメンド」 データ分析講座(その190)

    データを使い販売力を効率的に高めるセールスアナリティクスには、3つの典型的なテーマがあります。 新規顧客の獲得 既...

    データを使い販売力を効率的に高めるセールスアナリティクスには、3つの典型的なテーマがあります。 新規顧客の獲得 既...


「情報マネジメント一般」の活用事例

もっと見る
既存コア技術強化のためのオープン・イノベーション:富士フイルムの例

 2015年7月20日号の日経ビジネスに、富士フイルムの特集が掲載されました。富士フイルムは、既存コア技術強化のためにオープン・イノベーションを果敢に...

 2015年7月20日号の日経ビジネスに、富士フイルムの特集が掲載されました。富士フイルムは、既存コア技術強化のためにオープン・イノベーションを果敢に...


中小製造業のウェブ戦略

 中小製造業がウェブサイトを立ち上げる際、その目的として「自社の信用力を高めるための会社概要的な役割」と考える経営者も少なくない。しかし、当社のクライアン...

 中小製造業がウェブサイトを立ち上げる際、その目的として「自社の信用力を高めるための会社概要的な役割」と考える経営者も少なくない。しかし、当社のクライアン...


‐クレ-ム情報を開発に活用‐  製品・技術開発力強化策の事例(その13)

 前回の事例その12に続いて解説します。顧客から出されたクレ-ムは、技術開発や、関連製品の開発の可能性を潜在させている場合が多いようです。その視点からクレ...

 前回の事例その12に続いて解説します。顧客から出されたクレ-ムは、技術開発や、関連製品の開発の可能性を潜在させている場合が多いようです。その視点からクレ...