データによる効果検証とネクストアクション データ分析講座(その213)

投稿日

情報マネジメント

 

【この連載の前回へのリンク】

プロモーションを実施したとき、その効果を知りたくなるものです。例えば、A群とB群に分け、A群には従来のプロモーションを実施し、B群には新しいプロモーションを試したとき、売上などがどう異なるのかを検証するといったものです。仮に、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても、それがそのままネクストアクションに繋がるかと言うと、そう単純でもありません。今回は、「データによる効果検証とネクストアクション」というお話しをします。

 

【目次】

1.ケーススタディ
2.3つの効果検証の分析方法
(1)AB比較分析
(2)Before&After分析
(3)差分の差分析
3.全体的な傾向にすぎない
4.個店レベルにする
5.予測は点ではなく、区間もしくは分布で表現しレコメンドする

 

1.ケーススタディ

ある小売チェーンで、4月にあるプロモーションを実施していました。

 

毎年ほぼ同じプロモーションを実施しています。2019年に新しいプロモーションを試すことになりました。そこで、賛同する店舗を募集し、実際に新しいプロモーションを実施しました。

  • A群(対照群)店舗集合:2019年も従来のプロモーションのまま
  • B群(処置群)店舗集合:2019年に新しいプロモーションを実施

4月の売上(月販)が出揃ったところで、新しいプロモーションが従来のプロモーションに比べ効果があったどうかを分析することになりました。

 

情報マネジメント

 

2. 3つの効果検証の分析方法

今紹介したケーススタディを例に、よくあるデータ分析の方法を3つ紹介します。

  • AB比較分析
  • Before&After分析
  • 差分の差分析

 

(1)AB比較分析

一番多い分析方法かと思います。単純に、2019年のA群とB群の4月の売上(月販)を比較するというものです。

 

情報マネジメント

 

この例では、B群の店舗はA群の店舗に比べ-0.36億円(-3,600万円)で、売上が低いことが分かります。

 

情報マネジメント

 

この結果から、新しいプロモーションは従来のプロモーションに比べ効果はない。となります。

 

この分析方法にはある前提があります。それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。B群の店舗は、自ら手を挙げてこの新しいプロモーションに参加したということと、そもそも2018年の4月の売上(月販)が異なるため、「ほぼ同じ」という仮定は難しいかもしれません。この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は、調べてみたください。

 

(2)Before&After分析

次に多い分析方法です。

 

B群の中で、従来プロモーションを実施した2018年と、新プロモーションを実施した2019年の4月の売上(月販)を比較するというものです。

 

情報マネジメント

 

この例では、従来プロモーションを実施した2018年に比べ新プロモーションを実施した2019年の4月の売上(月販)は+0.21億円(+2,100万円)で、売上が上がっていることが分かります。

 

情報マネジメント

 

この結果から、新しいプロモーションが従来のプロモーションに比べ効果があった。となります。

 

AB比較分析と結論が異なります。この分析方法にはある前提があります。それは、B群の店舗にとって2018年と2019年は「ほぼ同じ」という仮定です。

 

仮に、2018年と2019年は「ほぼ同じ」という仮定が満たされたとします。この仮定が満たされたと言っても、A群も新しいプロモーションを実施したほうがいいとか、B群も2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。

 

要するに、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。なぜならば、2020年も「ほぼ同じ」という仮定が満たされている必要があるからです。

 

(3)差分の差分析

最近増えた分析方法です。

 

Before&After分析を、A群とB群でそれぞれで実施し、2018年と2019年の売上(月販)の差分を求めます。

 

  • A群の差分(2019年の4月の月販-2018年の4月の月販):+0.15億円(+1,500万円)
  • B群の差分(2019年の4月の月販-2018年の4月の月販):+0.21億円(+2,100万円)

さらに、この差:B群の差分-A群の差分=+0.06(+600万円)を計算します。

 

情報マネジメント

 

この結果から、新しいプロモーションが従来のプロモーションに比べ効果があった。となります。

 

この分析方法にはある前提があります。それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。さらに、A群とB群で「効果はほぼ同じ」という仮定も設けています。先ほど、B群の差分-A群の差分=+0.06(+600万円)と計算しました。これは、A群が新しいプロモーションを実施すると、+0.06(+600万円)になるという前提があります。

 

この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は調べてみてください。

 

しかし、A群が新しいプロモーションを実施したとき、B群と同じ効果を得られるという保障はどこにもありません。なぜならば、自ら手を挙げたB群と、手を挙げなかったA群では、データで見えないやる気などの部分などで、異なることでしょう。そのため、、A群も新しいプロモーションを実施したほうがいいとはなりません。

 

さらに、A群であろうがB群であろうが、2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。当然ながら、過去の傾向が2020年も続くという仮定があります。先ほども言及しましたが、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。最終的には、人的な決断が必要になります。

 

3.全体的な傾向にすぎない

今、3つの分析方法を紹介しました。

 

  • AB比較分析
  • Before&After分析
  • 差分の差分析

 

どの分析方法も何かしらの仮説が設定されており、どのような仮定設定をするかで分析結果が異なります。さたに、傾向スコア等で調整し最もらしい分析結果を見出しても、それはあくまでも全体的な傾向に過ぎず、個店のネクストアクションからほど遠いものです。

 

例えば、全体的な傾向として、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても個店で考えたとき、どうなんだろう。となります。そこで、店舗属性(立地など)を元に分けて効果検証の分析をするケースもあります。

 

例えば、ロードサイト店舗では効果はあった、駅前店舗では効果はなかった、といったものです。しかし、ロードサイト店舗では効果はあった、となっても、個店で考えたとき、どうなんだろう。となります。経営層や経営企画レベルで効果の有無を把握するのならば、全体の傾向や立地条件ごとの傾向を知ること意味はあるかもしれませんが、個店レベルになると使えない分析結果である可能性があります。

 

では、どうすればいいのでしょうか?

 

4.個店レベルにする

アクションに落とすには、今回の例の場合、個店レベルにする必要があります。店舗ごとにきめ細やかに何をすべきかを、データから提示すべきです。同じロードサイド店舗でも、新しいプロモーションを実施したほうがいい...

情報マネジメント

 

【この連載の前回へのリンク】

プロモーションを実施したとき、その効果を知りたくなるものです。例えば、A群とB群に分け、A群には従来のプロモーションを実施し、B群には新しいプロモーションを試したとき、売上などがどう異なるのかを検証するといったものです。仮に、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても、それがそのままネクストアクションに繋がるかと言うと、そう単純でもありません。今回は、「データによる効果検証とネクストアクション」というお話しをします。

 

【目次】

1.ケーススタディ
2.3つの効果検証の分析方法
(1)AB比較分析
(2)Before&After分析
(3)差分の差分析
3.全体的な傾向にすぎない
4.個店レベルにする
5.予測は点ではなく、区間もしくは分布で表現しレコメンドする

 

1.ケーススタディ

ある小売チェーンで、4月にあるプロモーションを実施していました。

 

毎年ほぼ同じプロモーションを実施しています。2019年に新しいプロモーションを試すことになりました。そこで、賛同する店舗を募集し、実際に新しいプロモーションを実施しました。

  • A群(対照群)店舗集合:2019年も従来のプロモーションのまま
  • B群(処置群)店舗集合:2019年に新しいプロモーションを実施

4月の売上(月販)が出揃ったところで、新しいプロモーションが従来のプロモーションに比べ効果があったどうかを分析することになりました。

 

情報マネジメント

 

2. 3つの効果検証の分析方法

今紹介したケーススタディを例に、よくあるデータ分析の方法を3つ紹介します。

  • AB比較分析
  • Before&After分析
  • 差分の差分析

 

(1)AB比較分析

一番多い分析方法かと思います。単純に、2019年のA群とB群の4月の売上(月販)を比較するというものです。

 

情報マネジメント

 

この例では、B群の店舗はA群の店舗に比べ-0.36億円(-3,600万円)で、売上が低いことが分かります。

 

情報マネジメント

 

この結果から、新しいプロモーションは従来のプロモーションに比べ効果はない。となります。

 

この分析方法にはある前提があります。それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。B群の店舗は、自ら手を挙げてこの新しいプロモーションに参加したということと、そもそも2018年の4月の売上(月販)が異なるため、「ほぼ同じ」という仮定は難しいかもしれません。この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は、調べてみたください。

 

(2)Before&After分析

次に多い分析方法です。

 

B群の中で、従来プロモーションを実施した2018年と、新プロモーションを実施した2019年の4月の売上(月販)を比較するというものです。

 

情報マネジメント

 

この例では、従来プロモーションを実施した2018年に比べ新プロモーションを実施した2019年の4月の売上(月販)は+0.21億円(+2,100万円)で、売上が上がっていることが分かります。

 

情報マネジメント

 

この結果から、新しいプロモーションが従来のプロモーションに比べ効果があった。となります。

 

AB比較分析と結論が異なります。この分析方法にはある前提があります。それは、B群の店舗にとって2018年と2019年は「ほぼ同じ」という仮定です。

 

仮に、2018年と2019年は「ほぼ同じ」という仮定が満たされたとします。この仮定が満たされたと言っても、A群も新しいプロモーションを実施したほうがいいとか、B群も2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。

 

要するに、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。なぜならば、2020年も「ほぼ同じ」という仮定が満たされている必要があるからです。

 

(3)差分の差分析

最近増えた分析方法です。

 

Before&After分析を、A群とB群でそれぞれで実施し、2018年と2019年の売上(月販)の差分を求めます。

 

  • A群の差分(2019年の4月の月販-2018年の4月の月販):+0.15億円(+1,500万円)
  • B群の差分(2019年の4月の月販-2018年の4月の月販):+0.21億円(+2,100万円)

さらに、この差:B群の差分-A群の差分=+0.06(+600万円)を計算します。

 

情報マネジメント

 

この結果から、新しいプロモーションが従来のプロモーションに比べ効果があった。となります。

 

この分析方法にはある前提があります。それは、A群とB群の店舗集合は「ほぼ同じ」という仮定です。さらに、A群とB群で「効果はほぼ同じ」という仮定も設けています。先ほど、B群の差分-A群の差分=+0.06(+600万円)と計算しました。これは、A群が新しいプロモーションを実施すると、+0.06(+600万円)になるという前提があります。

 

この仮定を満たすために、最近では傾向スコアと言うものを活用し調整することも増えました。詳しくは説明しません。気になる方は調べてみてください。

 

しかし、A群が新しいプロモーションを実施したとき、B群と同じ効果を得られるという保障はどこにもありません。なぜならば、自ら手を挙げたB群と、手を挙げなかったA群では、データで見えないやる気などの部分などで、異なることでしょう。そのため、、A群も新しいプロモーションを実施したほうがいいとはなりません。

 

さらに、A群であろうがB群であろうが、2020年に新しいプロモーションを継続したほうがいいとか、そういうことまでは言えません。当然ながら、過去の傾向が2020年も続くという仮定があります。先ほども言及しましたが、データから効果検証を分析した結果、効果があったとしてもネクストアクションに即つながるかと言うと難しい面があります。最終的には、人的な決断が必要になります。

 

3.全体的な傾向にすぎない

今、3つの分析方法を紹介しました。

 

  • AB比較分析
  • Before&After分析
  • 差分の差分析

 

どの分析方法も何かしらの仮説が設定されており、どのような仮定設定をするかで分析結果が異なります。さたに、傾向スコア等で調整し最もらしい分析結果を見出しても、それはあくまでも全体的な傾向に過ぎず、個店のネクストアクションからほど遠いものです。

 

例えば、全体的な傾向として、新しいプロモーションが従来のプロモーションに比べ効果があった、と言えても個店で考えたとき、どうなんだろう。となります。そこで、店舗属性(立地など)を元に分けて効果検証の分析をするケースもあります。

 

例えば、ロードサイト店舗では効果はあった、駅前店舗では効果はなかった、といったものです。しかし、ロードサイト店舗では効果はあった、となっても、個店で考えたとき、どうなんだろう。となります。経営層や経営企画レベルで効果の有無を把握するのならば、全体の傾向や立地条件ごとの傾向を知ること意味はあるかもしれませんが、個店レベルになると使えない分析結果である可能性があります。

 

では、どうすればいいのでしょうか?

 

4.個店レベルにする

アクションに落とすには、今回の例の場合、個店レベルにする必要があります。店舗ごとにきめ細やかに何をすべきかを、データから提示すべきです。同じロードサイド店舗でも、新しいプロモーションを実施したほうがいい店舗もあれば、従来のプロモーションのままがいい店舗もある、ということです。

 

1,000店舗でも10,000店舗でも、現在のコンピュータの性能と分析技術により、個店レベルのデータ分析や予測モデルの構築などは可能です。要は、効果検証のデータ分析と、ネクストアクションのためのデータ分析は異なります。

 

5.予測は点ではなく、区間もしくは分布で表現しレコメンドする

今回のケースでネクストアクションのためのデータ分析をするとき、多くの場合、予測ということをすると思います。

 

  • 新しいプロモーションの場合の売上予測
  • 従来のプロモーションの場合の売上予測

 

多くの場合、点の予測(例:1億円)をするかと思います。それはそれでいいのですが、可能でああれば区間(例:0.9~1.1億円)もしくは分布を予測すると、良いと思います。

 

情報マネジメント

 

なぜならば、点の予測(例:1億円)の値が高くても、区間が広かったり、分布が広がっていることはあります。区間が狭い方かったり、分布が尖っている方が、点の予測の値に近くなる確実性が高いです。そのような場合、点の予測(例:1億円)の値が低くても、確実性の高い方を選択した方が良いこともあります。データ分析の世界では、予測の区間が広がりや分布の広がりを、リスクと表現したりします。

 

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
有象無象なデータとは データ分析講座(その94)

◆ ビッグデータブームでデータ分析が大きく変わる  少し過去にさかのぼりますが、2012年のNHKクローズアップ現代でビッグデータの特集が組まれまし...

◆ ビッグデータブームでデータ分析が大きく変わる  少し過去にさかのぼりますが、2012年のNHKクローズアップ現代でビッグデータの特集が組まれまし...


数理統計学的な厳密性との狭間で データ分析講座(その155)

  ◆ データ分析・活用と数理統計学的な厳密性との狭間で  データ分析やデータサイエンス、機械学習などの基礎的なバックボーンとして、数理...

  ◆ データ分析・活用と数理統計学的な厳密性との狭間で  データ分析やデータサイエンス、機械学習などの基礎的なバックボーンとして、数理...


DXはIT投資ではなく人財投資へ データ分析講座(その232)

  【この連載の前回:データ分析講座(その231)DXを阻む「鉛筆を舐めておけ文化」へのリンク】 ◆関連解説『情報マネジメントとは』 ...

  【この連載の前回:データ分析講座(その231)DXを阻む「鉛筆を舐めておけ文化」へのリンク】 ◆関連解説『情報マネジメントとは』 ...


「情報マネジメント一般」の活用事例

もっと見る
中小製造業のウェブ戦略

 中小製造業がウェブサイトを立ち上げる際、その目的として「自社の信用力を高めるための会社概要的な役割」と考える経営者も少なくない。しかし、当社のクライアン...

 中小製造業がウェブサイトを立ち上げる際、その目的として「自社の信用力を高めるための会社概要的な役割」と考える経営者も少なくない。しかし、当社のクライアン...


生産スピード向上と品質管理

 電子メールやインターネットの普及により、ビジネスのグローバル化が大きく進みましたが、IT技術の進歩は、品質管理の方法も進歩させました。20数年前は製造条...

 電子メールやインターネットの普及により、ビジネスのグローバル化が大きく進みましたが、IT技術の進歩は、品質管理の方法も進歩させました。20数年前は製造条...


人的資源マネジメント:製品開発の滞留を引き起こすファイルとは(その2)

 今回は、PDM/PLMに代表される製品開発業務のIT化をどのように考え、進めるのがよいのかについて解説します。    前回まで続けていたテ...

 今回は、PDM/PLMに代表される製品開発業務のIT化をどのように考え、進めるのがよいのかについて解説します。    前回まで続けていたテ...