A/Bテストの7ステップ データ分析講座(その269)

投稿日

データ分析

 

データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。従来は手作業で行うものが多い印象がありましたが、現在は色々なツールを幅広く活用するようになっています。例えば、一般的なA/Bテストのためのツールは、サンプルサイズ算出や記述統計量(平均や分散など)、有意差検定などの統計処理をほぼツールが担ってくれるので、データサイエンティストは統計式の羅列や数字の手計算をすることはありません。

 

データサイエンティストは、ツールを使った統計処理やレポーティングではなく、実験そのものについて考えることと、実験結果の解釈を与える(結果を正しく解釈し洞察する)ことが、非常に重要になっています。今回は、データサイエンティストが何をすべきかに言及しつつ「A/Bテストの7ステップ」というお話しをします。

 

【目次】
◆ ワークフローの概要
 1. 現場理解
 2. 実験計画
 3. 実験のセットアップ
 4. 実験の実施とモニタリング
 5. 実験結果の確認と深掘り分析
 6. ネクストステップの検討
 7. 報告書の作成

【この連載の前回:(その268)データ活用はPoVでデータビジネスはPoBでへのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

◆ ワークフローの概要

最初に簡単に、A/Bテストの一般的なワークフローを示します。

  1.  現場理解
  2.  実験計画
  3.  実験のセットアップ
  4.  実験の実施とモニタリング
  5.  実験結果の確認と深掘り分析
  6.  ネクストステップの検討
  7.  報告書の作成

 

それぞれについて、データサイエンティストを主語に、簡単に説明していきます。

 

1. 現場理解

A/Bテストのワークフロー全体の中で最も重要なパートです。データサイエンティストは、現場の方々と一緒に、徹底的に次の2つについて検討すべきです。

  • 実現可能性
  • インパクト

 

先ず、商品やサービスそのものや、ユーザジャーニーがどうなっているのか、現場はどのような仮説をもっているのかを正確に理解する必要があります。その上で、A/Bテストツールなどで実施するのが適切なのか、無理ない形でのランダム化実験が可能なのか、などの実現可能性を検討します。A/Bテストは万能ではありませんし、無理してA/Bテストをすべきものでもありません。不自然なA/Bテストを実施しても、その結果には疑問がつきまといます。さらに、実験的による利益創出やROIなどに注意を払う必要があります。

 

期待される利益は何で規模はどれくらいか、それは短期的なものか長期的なものか、コストパフォーマンスはどうか、などを検討します。

 

2. 実験計画

「1. 現場理解」をもとに、データサイエンティストは現場に対し、例えば次のような実験計画の提案を行います。

  • 検証対象の仮説
  • 実験対象(A群とB群)
  • 無作為化の単位(ユーザ単位なのか、セッション単位なのか、など)
  • 評価指標
  • 必要最小サンプルサイズ
  • 時期と期間、取得サンプルサイズ予想

など

 

3. 実験のセットアップ

簡単に言うと、「2. 実験計画」をもとに、A/Bテストツールなどをセットアップし準備をする、ということです。

 

A/Bテストツールが想定した通り動いているのか、見たいものは見えているのか、設定した内容が反映されているのかなどを確認していきます。人間はミスするということを前手に、確認作業を実施した方が良いでしょう。

 

その中で重要なのが、A/Bテストツールなどで、A群とB群がランダム・アサインメント(無作為割付)が行われているかどうかを確認することです。例えば、ユーザ単位であれば、A群とB群でユーザ属性の分布(性別、年齢など)が均質であるかどうかを、確認するということです。統計的な有意差検定などを利用します。

 

インターネットサービス(ECサイトなど)などでセッション単位であれば、流入元やサイト内の訪問ページ、コンバージョン(購入や申込みなど)などが、A群とB群で均質である必要があります。

 

4. 実験の実施とモニタリング

実験が開始しても、しばらくは統計的な有意差検定などをすることはできません。だからといって、指を加えてデータが蓄積されるのを待っている、というわけでもありません。データサイエンティストが、色々な指標の記述統計(平均や分散など)をモニタリングすることは重要です。

 

A/Bテストツールなどへのセットアップのミスを発見することもありますし、即座に方向修正の検討を開始するきっかけにもなります。

 

5. 実験結果の確認と深掘り分析

実験が終了したら、データサイエンティストは、各種指標の記述統計量を算出し、有意差検定などを実施し、どうなったのかを統計学的視点から結果をまとめます。場合によっては、A群とB群の差の分析をするだけでなく、可能な範囲で深掘り分析を実施していきます。

そこから、A群とB群の差の理由を知るきっかけになることもありますし、想定外の何かを知るきっかけになることもあります。

 

6. ネクストステップの検討

「5. 実験結果の確認と深掘り分析」を経て、データサイエンティストは現場の方と話し会いながら何かしらの結論を出します。...

データ分析

 

データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。従来は手作業で行うものが多い印象がありましたが、現在は色々なツールを幅広く活用するようになっています。例えば、一般的なA/Bテストのためのツールは、サンプルサイズ算出や記述統計量(平均や分散など)、有意差検定などの統計処理をほぼツールが担ってくれるので、データサイエンティストは統計式の羅列や数字の手計算をすることはありません。

 

データサイエンティストは、ツールを使った統計処理やレポーティングではなく、実験そのものについて考えることと、実験結果の解釈を与える(結果を正しく解釈し洞察する)ことが、非常に重要になっています。今回は、データサイエンティストが何をすべきかに言及しつつ「A/Bテストの7ステップ」というお話しをします。

 

【目次】
◆ ワークフローの概要
 1. 現場理解
 2. 実験計画
 3. 実験のセットアップ
 4. 実験の実施とモニタリング
 5. 実験結果の確認と深掘り分析
 6. ネクストステップの検討
 7. 報告書の作成

【この連載の前回:(その268)データ活用はPoVでデータビジネスはPoBでへのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

◆ ワークフローの概要

最初に簡単に、A/Bテストの一般的なワークフローを示します。

  1.  現場理解
  2.  実験計画
  3.  実験のセットアップ
  4.  実験の実施とモニタリング
  5.  実験結果の確認と深掘り分析
  6.  ネクストステップの検討
  7.  報告書の作成

 

それぞれについて、データサイエンティストを主語に、簡単に説明していきます。

 

1. 現場理解

A/Bテストのワークフロー全体の中で最も重要なパートです。データサイエンティストは、現場の方々と一緒に、徹底的に次の2つについて検討すべきです。

  • 実現可能性
  • インパクト

 

先ず、商品やサービスそのものや、ユーザジャーニーがどうなっているのか、現場はどのような仮説をもっているのかを正確に理解する必要があります。その上で、A/Bテストツールなどで実施するのが適切なのか、無理ない形でのランダム化実験が可能なのか、などの実現可能性を検討します。A/Bテストは万能ではありませんし、無理してA/Bテストをすべきものでもありません。不自然なA/Bテストを実施しても、その結果には疑問がつきまといます。さらに、実験的による利益創出やROIなどに注意を払う必要があります。

 

期待される利益は何で規模はどれくらいか、それは短期的なものか長期的なものか、コストパフォーマンスはどうか、などを検討します。

 

2. 実験計画

「1. 現場理解」をもとに、データサイエンティストは現場に対し、例えば次のような実験計画の提案を行います。

  • 検証対象の仮説
  • 実験対象(A群とB群)
  • 無作為化の単位(ユーザ単位なのか、セッション単位なのか、など)
  • 評価指標
  • 必要最小サンプルサイズ
  • 時期と期間、取得サンプルサイズ予想

など

 

3. 実験のセットアップ

簡単に言うと、「2. 実験計画」をもとに、A/Bテストツールなどをセットアップし準備をする、ということです。

 

A/Bテストツールが想定した通り動いているのか、見たいものは見えているのか、設定した内容が反映されているのかなどを確認していきます。人間はミスするということを前手に、確認作業を実施した方が良いでしょう。

 

その中で重要なのが、A/Bテストツールなどで、A群とB群がランダム・アサインメント(無作為割付)が行われているかどうかを確認することです。例えば、ユーザ単位であれば、A群とB群でユーザ属性の分布(性別、年齢など)が均質であるかどうかを、確認するということです。統計的な有意差検定などを利用します。

 

インターネットサービス(ECサイトなど)などでセッション単位であれば、流入元やサイト内の訪問ページ、コンバージョン(購入や申込みなど)などが、A群とB群で均質である必要があります。

 

4. 実験の実施とモニタリング

実験が開始しても、しばらくは統計的な有意差検定などをすることはできません。だからといって、指を加えてデータが蓄積されるのを待っている、というわけでもありません。データサイエンティストが、色々な指標の記述統計(平均や分散など)をモニタリングすることは重要です。

 

A/Bテストツールなどへのセットアップのミスを発見することもありますし、即座に方向修正の検討を開始するきっかけにもなります。

 

5. 実験結果の確認と深掘り分析

実験が終了したら、データサイエンティストは、各種指標の記述統計量を算出し、有意差検定などを実施し、どうなったのかを統計学的視点から結果をまとめます。場合によっては、A群とB群の差の分析をするだけでなく、可能な範囲で深掘り分析を実施していきます。

そこから、A群とB群の差の理由を知るきっかけになることもありますし、想定外の何かを知るきっかけになることもあります。

 

6. ネクストステップの検討

「5. 実験結果の確認と深掘り分析」を経て、データサイエンティストは現場の方と話し会いながら何かしらの結論を出します。

例えば……

  • もう少し実験を続けサンプルを増やし検討すべきだ
  • A群(もしくはB群)が勝ったのだから、その結果に従うべきだ
  • 別の実験を計画し実施すべきだ

……などなど。

 

思ったほどサンプルが集まらなければ、可能なら実験を続けたほうが良さそうですし、十分なサンプルが集まり白黒が付いたのなら、それに従うのもいいでしょう。ただ、十分なサンプルが集まり白黒付いても、深掘り分析の結果から、検証すべき別の仮説が出てくることがあります。

 

そもそも、十分なサンプルが集まったのに白黒付かず、仮説を練り直す必要も出てきます。そのような場合には、別の実験を計画し実施したほうがいいでしょう。

 

7. 報告書の作成

最後に、データサイエンティストは、どのような実験であっても、次の項目を報告書として記録しましょう。

  • 背景
  • 仮説
  • 実験概要
  • 分析結果
  • ネクストステップ

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
国際規格・業界規格 制御システム(その6)

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...


AIには効率性を追求させて、人は人間らしさを発揮 データ分析講座(その56)

◆ AIでデータの価値は最大化するかもしれないが、人は人間らしさを発揮する必要がある  数十年前に人工知能学会に参加していたとき、ここまでAI(人工...

◆ AIでデータの価値は最大化するかもしれないが、人は人間らしさを発揮する必要がある  数十年前に人工知能学会に参加していたとき、ここまでAI(人工...


営業データ分析で冒険的なチャレンジをやり続ける データ分析講座(その14)

  ◆ 営業データ分析で冒険的なチャレンジができるからワクワクする  「データから何か新しい発見したいのだけど」よくこのような質問をされ...

  ◆ 営業データ分析で冒険的なチャレンジができるからワクワクする  「データから何か新しい発見したいのだけど」よくこのような質問をされ...


「情報マネジメント一般」の活用事例

もっと見る
中小製造業とIoTの波

 「IoT(アイオーティー)」の波が、中小製造業にどのような影響をおよぼすのか、具体的にどのような変化がこの業界に訪れるのかについて、解説します。   ...

 「IoT(アイオーティー)」の波が、中小製造業にどのような影響をおよぼすのか、具体的にどのような変化がこの業界に訪れるのかについて、解説します。   ...


電子メール、簡潔過ぎると逆効果

◆電子メール:多忙な人に確実な返信をもらうテクニック  皆様は仕事で電子メールを一日に何通受信しますか、企業の従業員数、所属部署、職務、職位などでも...

◆電子メール:多忙な人に確実な返信をもらうテクニック  皆様は仕事で電子メールを一日に何通受信しますか、企業の従業員数、所属部署、職務、職位などでも...


レストランでのタブレット端末

        最近、テーブルにタブレット端末を置くレストランが増えています。レストラン利用者としては、ウェ...

        最近、テーブルにタブレット端末を置くレストランが増えています。レストラン利用者としては、ウェ...