データによる仮説検証の3段階アプローチ データ分析講座(その248)

投稿日

データ分析

 

仮説を立てて、データで検証する場合、既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。さらに、これから新たにデータ取得し検証する方法も、どうなるのかをモニタリングし確かめる方法と、ABテストで代表されるように積極的に介入しデータを取得し確かめる方法があります。このように考えると、ざっくり3種類のデータによる仮説検証の方法があることになります。今回は「データによる仮説検証の3段階アプローチ」というお話しをします。

 

【目次】
1.データによる仮説検証の3段階アプローチ
2.某ニュースサイトの事例:とりあえずの目標
3.某ニュースサイトの事例:とりあえずの仮説
 (1)仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)
 (2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)
 (3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)
4.今回のまとめ

 

【この連載の前回:データ分析講座(その247)データによる課題発見と課題解決へのリンク】

1.データによる仮説検証の3段階アプローチ

絶対的なものではありませんが、仮説検証の方法は、ざっくり3種類のデータによるものがあります。そして、この3種類のデータによる仮説検証には、実施する順番が次のようにあります。

 

  • 仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)
  • その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)
  • その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)

 

これを簡単な事例で説明します。

 

2.某ニュースサイトの事例:とりあえずの目標

某ニュースサイトの、とりあえずの目標は無料会員数をある数まで増やすことでした。今まで見ていた指標は、PV(ページビュー)数やUU(ユニークユーザー)数、訪問数、回遊率(PV÷訪問数)などでした。これらの指標と無料会員登録数の間に関係性はありそうでしたが、それほど強いものではなさそうでした。

 

例えば、PV数やUU数などの数値がある一定以上を超えると、無料会員登録数の増え方は鈍化していましたし、そもそも相関関係そのものもそれほど大きなものではありませんでした。

 

3.某ニュースサイトの事例:とりあえずの仮説

データ分析

 

無料会員登録には何が効果的なのか、調べることにしました。

 

日々発信されているニュース記事は、他のニュースサイトとそれほど大きく内容は変わりません。違いを出せるとしたら、記事のタイトルぐらいです。ニュースサイトには、日々発信されているニュース記事以外にも、それらをまとめ編集し直し内容を深堀りした特集ページや、お悩み相談、コラムなどもあります。

 

そこで仮説として、記事タイトル・特集ページ・お悩み相談・コラムのいずれかが無料会員登録に効いているのであろうと考えました。

 

(1)仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)

そこで過去データ(サイトのアクセスログ)を使い、無料会員登録につながった訪問とそうでない訪問に分けて、どのようなページを閲覧したのか、どのくらい滞在したのか、などを比較しました。さらに、目的変数を無料会員登録の有無とした、ロジスティック回帰モデルやディシジョンツリー(分類木)モデルなどを構築し、何が無料会員登録に効いていそうかを分析しました。

 

要は、最初は集計値やそれをグラフ化したものを眺め傾向を感覚的につかみ、その掴んだ感覚を活かしながら簡単な数理モデル(分類問題)を構築し検証した、ということです。その結果、分かったことは、特集ページが無料会員登録に効いている、ということです。

 

(2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)

そこで、特集ページのPV数やUU数、滞在時間などを指標としてモニタリングすることにしました。

 

さらに、特集ページ閲覧後の無料会員数やCVR(コンバージョンレート、無料会員登録率)も日々集計しモニタリングしました。もちろん、全体の無料会員数やCVR、特集ページ非閲覧訪問者の無料会員数やCVRも日々集計しモニタリングしています。1ヶ月モニタリングして分かったことは、特集ページが無料会員登録にかなり効いている、ということです。

 

無料会員登録する人は、記者の腕が発揮される特集ページを「いいかも」と思い登録したことが垣間見れます。

 

(3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)

モニタリングし確かめることで十分かもしれませんが、さらに突っ込んだことを実施しました。ABテストです。サイトの新規訪問者をA群とB群に分け、B群に振り分けられた人は特集ページへ遷移できなくしました。

 

  • A群:特集ページへ遷移できる
  • B群:特集ページへ遷移できない

 

B群に振り分けられた訪問者は、特集ページを見ることができませんので、A群とB群の無料会員数やCVRなどを比較することで、特集ページの存在の有無が無料会員登録にどれだけ効いているのかが分かります。そして、結果は仮説通りでした。

 

4.今回のまとめ

今回は、「データによる仮説検証の3段階アプローチ」というお話しをしました。仮説を立てて、データで検証する。既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があり...

データ分析

 

仮説を立てて、データで検証する場合、既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。さらに、これから新たにデータ取得し検証する方法も、どうなるのかをモニタリングし確かめる方法と、ABテストで代表されるように積極的に介入しデータを取得し確かめる方法があります。このように考えると、ざっくり3種類のデータによる仮説検証の方法があることになります。今回は「データによる仮説検証の3段階アプローチ」というお話しをします。

 

【目次】
1.データによる仮説検証の3段階アプローチ
2.某ニュースサイトの事例:とりあえずの目標
3.某ニュースサイトの事例:とりあえずの仮説
 (1)仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)
 (2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)
 (3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)
4.今回のまとめ

 

【この連載の前回:データ分析講座(その247)データによる課題発見と課題解決へのリンク】

1.データによる仮説検証の3段階アプローチ

絶対的なものではありませんが、仮説検証の方法は、ざっくり3種類のデータによるものがあります。そして、この3種類のデータによる仮説検証には、実施する順番が次のようにあります。

 

  • 仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)
  • その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)
  • その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)

 

これを簡単な事例で説明します。

 

2.某ニュースサイトの事例:とりあえずの目標

某ニュースサイトの、とりあえずの目標は無料会員数をある数まで増やすことでした。今まで見ていた指標は、PV(ページビュー)数やUU(ユニークユーザー)数、訪問数、回遊率(PV÷訪問数)などでした。これらの指標と無料会員登録数の間に関係性はありそうでしたが、それほど強いものではなさそうでした。

 

例えば、PV数やUU数などの数値がある一定以上を超えると、無料会員登録数の増え方は鈍化していましたし、そもそも相関関係そのものもそれほど大きなものではありませんでした。

 

3.某ニュースサイトの事例:とりあえずの仮説

データ分析

 

無料会員登録には何が効果的なのか、調べることにしました。

 

日々発信されているニュース記事は、他のニュースサイトとそれほど大きく内容は変わりません。違いを出せるとしたら、記事のタイトルぐらいです。ニュースサイトには、日々発信されているニュース記事以外にも、それらをまとめ編集し直し内容を深堀りした特集ページや、お悩み相談、コラムなどもあります。

 

そこで仮説として、記事タイトル・特集ページ・お悩み相談・コラムのいずれかが無料会員登録に効いているのであろうと考えました。

 

(1)仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)

そこで過去データ(サイトのアクセスログ)を使い、無料会員登録につながった訪問とそうでない訪問に分けて、どのようなページを閲覧したのか、どのくらい滞在したのか、などを比較しました。さらに、目的変数を無料会員登録の有無とした、ロジスティック回帰モデルやディシジョンツリー(分類木)モデルなどを構築し、何が無料会員登録に効いていそうかを分析しました。

 

要は、最初は集計値やそれをグラフ化したものを眺め傾向を感覚的につかみ、その掴んだ感覚を活かしながら簡単な数理モデル(分類問題)を構築し検証した、ということです。その結果、分かったことは、特集ページが無料会員登録に効いている、ということです。

 

(2)その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)

そこで、特集ページのPV数やUU数、滞在時間などを指標としてモニタリングすることにしました。

 

さらに、特集ページ閲覧後の無料会員数やCVR(コンバージョンレート、無料会員登録率)も日々集計しモニタリングしました。もちろん、全体の無料会員数やCVR、特集ページ非閲覧訪問者の無料会員数やCVRも日々集計しモニタリングしています。1ヶ月モニタリングして分かったことは、特集ページが無料会員登録にかなり効いている、ということです。

 

無料会員登録する人は、記者の腕が発揮される特集ページを「いいかも」と思い登録したことが垣間見れます。

 

(3)その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)

モニタリングし確かめることで十分かもしれませんが、さらに突っ込んだことを実施しました。ABテストです。サイトの新規訪問者をA群とB群に分け、B群に振り分けられた人は特集ページへ遷移できなくしました。

 

  • A群:特集ページへ遷移できる
  • B群:特集ページへ遷移できない

 

B群に振り分けられた訪問者は、特集ページを見ることができませんので、A群とB群の無料会員数やCVRなどを比較することで、特集ページの存在の有無が無料会員登録にどれだけ効いているのかが分かります。そして、結果は仮説通りでした。

 

4.今回のまとめ

今回は、「データによる仮説検証の3段階アプローチ」というお話しをしました。仮説を立てて、データで検証する。既にある過去データで検証する方法と、これから新たにデータ取得し検証する方法があります。

 

さらに、これから新たにデータ取得し検証する方法も、どうなるのかをモニタリングし確かめる方法と、ABテストで代表されるように積極的に介入しデータを取得し確かめる方法があります。このように考えると、ざっくり3種類のデータによる仮説検証の方法があることになります。

 

この3種類のデータによる仮説検証には、実施する順番があります。

 ・仮説に対し、既にある過去データで検証し確かめる(例:統計解析や探索的データ分析)
 ・その仮説が、今後とも成立するのかをデータを取得し続け確かめる(例:モニタリング)
 ・その仮説を堅固なものにするために積極的に介入しデータを取得し確かめる(例:ABテスト)

ちなみに、すべてを実施する必要はありませんし、いきなり新たにデータを取得し仮説検証しても構いません。

 

次回に続きます。

 

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
理解されやすく成果の出やすいデータ分析 データ分析講座(その95)

◆ 「それなりにデータはあるが、まともなデータがない」時にすべきこと  私は仕事柄、次のような質問をよくします。「データの状況どうですか?」。当然な...

◆ 「それなりにデータはあるが、まともなデータがない」時にすべきこと  私は仕事柄、次のような質問をよくします。「データの状況どうですか?」。当然な...


コア技術の利用を切り口としたオープン・イノベーションの類型  研究テーマの多様な情報源(その19)

  1.オープン・イノベーションの類型(インバウンドを対象に) ◆関連解説『情報マネジメントとは』    オープン・イノベーシ...

  1.オープン・イノベーションの類型(インバウンドを対象に) ◆関連解説『情報マネジメントとは』    オープン・イノベーシ...


データ活用はPoVでデータビジネスはPoBで データ分析講座(その268)

  DXやAI、機械学習、データサイエンスというキーワードとともに、企業で実施されるようになったものの1つに、PoC(Proof of C...

  DXやAI、機械学習、データサイエンスというキーワードとともに、企業で実施されるようになったものの1つに、PoC(Proof of C...


「情報マネジメント一般」の活用事例

もっと見る
‐社内の問題克服による開発活動‐  製品・技術開発力強化策の事例(その14)

 前回の事例その13に続いて解説します。社内における様々な問題を高いレベルで深く追及して解決することが、競争力のある技術を育成し、売れる製品を生み出す事に...

 前回の事例その13に続いて解説します。社内における様々な問題を高いレベルで深く追及して解決することが、競争力のある技術を育成し、売れる製品を生み出す事に...


現場情報の自動収集に道具だてを

 一日の作業指示の出し方で、次のどちらの組織の管理レベルの改善がより進むでしょうか?        ・A社 ➡「x製品を◯個」     ・B...

 一日の作業指示の出し方で、次のどちらの組織の管理レベルの改善がより進むでしょうか?        ・A社 ➡「x製品を◯個」     ・B...


Web上で試作受注するツールを成功させるポイントとは

        今回は、「Web上で試作受注するツール」を成功させるポイントについて解説します。次の2点がポイントで、この2つを「最優先」に考える必...

        今回は、「Web上で試作受注するツール」を成功させるポイントについて解説します。次の2点がポイントで、この2つを「最優先」に考える必...