今までにない気付きが発見されると分析結果が疑われる データ分析講座(その162)

更新日

投稿日

データ分析

 

◆ データ分析と活用のメリットを甘受させることを最優先に

 よくデータ分析を実施する前に「データから今までにない気付きを得られるのではないか」と期待されることがあります。要は、データマイニング的な分析です。しかし不思議なことに、その気付きが発見されると分析結果が疑われることもあります。今回は「データから今までにない気付きを得たいと言いながら、そのような発見があると現場感と違うと拒否される」ということについてお話します。

【目次】

1. 「データから今までにない気付きを得たい!」 という期待

   (1)ビールと紙おむつ

 (2)切り口が多いと混乱する

2.  データ分析で、混乱を減らす

3.  現場感と違うと拒否される

4.  現場感とほぼ一致したデータ分析を行う

 

1. 「データから今までにない気付きを得たい!」という期待

 約20年ぐらい前に、データマイニングブームがありました。従来の仮説検証型のデータ分析ではなく仮説発見型として、一躍注目されました。その時、頻繁に使われた分析手法が、ニューラルネットワーク(NN)*やサポートベクターマシン(SVM)*などです。

(1)ビールと紙おむつ

 データから今までない気付きを得られた事例としてよく登場したのが「ビールと紙おむつ」の話です。本当かどうかは知りませんが「ビールと紙おむつは一緒に買われる」という発見です。その発見をどのように活用するのかが重要ですが、今回はその部分のお話しは省き「誰にとっての発見なのか」というお話しをします。

 もし、本当に「ビールと紙おむつが一緒に買われる」という現象がある程度の頻度であるのなら、レジ業務の方は知っているはずです。なぜならば、頻繁に「ビールと紙おむつが一緒に買われる」という現場を見ているからです。要するに「ビールと紙おむつが一緒に買われる」という現象を、すごい発見だと言っている人は、現場感の無い人、もう少し言うと現場を知らない人でしょう。ここでいいたいのは、データで現れてくる結果は、実際に起こった事実です。その事実がある程度の頻度で起こるなら、その現場にいる人にとっては、日常目にすることなのです。そのため、現場を垣間見られないデータは、価値がないと思います。

 そうなると「データ分析をする意味はないのではないか」と思われがちですが、そうでもありません。「ビールと紙おむつが一緒に買われる」ということを、現場の人が記憶の奥にしまったままでいるケースがあるからです。相当記憶力の高い人でない限り、毎日起こっていることを、自分の頭のデータベースから自由自在に引き出すことは、あまりできないことでしょう。しかし、現場の人へ「ビールと紙おむつが一緒に買われているかどうか」と質問すれば「確かに、そう! そう!!」と思い出してくれるかもしれません。

(2)切り口が多いと混乱する

 では、データ分析の結果は現場の人に直接聞いてみると、その事実が確かめられるのでしょうか。単純なものであれば、確かめられると思います。前述した「ビールと紙おむつが一緒に買われる」ぐらいであれば単純ですので、確かめられると思います。切り口が「同時購買」の一つだからです。しかし、切り口が増えると人の脳では捉えられなくなってきます。

 例えば「同時購買」に加え「天候」、「時間帯」、「プロモーション」、「カレンダー」、「周辺で開催されているイベント」、「来店客層」、「立地」、「過去の販売状況」などです。あらゆる情報を頭にインプットし仕事をしている人もいるかもしれませんが、多くの人は印象的な情報の切り口だけで物事を処理してしまいます。

 

2. データ分析で混乱を減らす

 コンピューターに頼ったデータ分析は、多様な切り口からの分析が可能となり、時間的コストも減らしてくれます。そのための分析手法も多々ありますが、下手なデータ分析をすると返って混乱を招きます。

 頭脳明晰(めいせき)な方がデータ分析をすると、このような混乱を起こすことはあまりありませんが、自分で処理できる切り口の多様性の限界を超えると、分析をすればするほど混乱してしまいます。つまり、人によって処理できる切り口の多様性の量と質が異なるのです。要するに、自分で処理できる切り口の多様性の限界内であれば、自分の頭の中で処理できる切り口の多様性を広げ、データ分析で混乱を減らすことができます。そのあたりは、データ分析者の力量に大きく依存します。力量によっては、データ分析で多様な切り口を考慮しつつ、切り口が増えたことの混乱を減らしながら、ファクト(事実)を捉えることができます。

 私の感覚では、その力量は数学力でもなければ、ロジカルシンキング的なコンサルスキルでもありません。リベラルアーツ的なものが、データ分析者の力量に大きく影響を与えている気がします。

 

3. 現場感と違うと拒否される

 切り口の量と質のレベルが低ければ、分析結果を現場に見せると「確かに、そう! そう!!」となります。一方「切り口の量と質のレベルが高い」とは、切り口の数が多く複雑であるという意味で使います。では、切り口の量と質のレベルが高いデータ分析の結果を、現場に持っていくとどうなるでしょうか?

 データ分析への信頼があまりなく、データ分析を活用した経験が不足しているような状況の場合「現場感と違う」と拒否されるということが起こります。しかも「データから今までない気づきを得たい」というニーズからデータ分析が始まっていても「現場感と違う」、「分析がおかしいのでは」、「到底受け入れられるものではない」と拒否され...

データ分析

 

◆ データ分析と活用のメリットを甘受させることを最優先に

 よくデータ分析を実施する前に「データから今までにない気付きを得られるのではないか」と期待されることがあります。要は、データマイニング的な分析です。しかし不思議なことに、その気付きが発見されると分析結果が疑われることもあります。今回は「データから今までにない気付きを得たいと言いながら、そのような発見があると現場感と違うと拒否される」ということについてお話します。

【目次】

1. 「データから今までにない気付きを得たい!」 という期待

   (1)ビールと紙おむつ

 (2)切り口が多いと混乱する

2.  データ分析で、混乱を減らす

3.  現場感と違うと拒否される

4.  現場感とほぼ一致したデータ分析を行う

 

1. 「データから今までにない気付きを得たい!」という期待

 約20年ぐらい前に、データマイニングブームがありました。従来の仮説検証型のデータ分析ではなく仮説発見型として、一躍注目されました。その時、頻繁に使われた分析手法が、ニューラルネットワーク(NN)*やサポートベクターマシン(SVM)*などです。

(1)ビールと紙おむつ

 データから今までない気付きを得られた事例としてよく登場したのが「ビールと紙おむつ」の話です。本当かどうかは知りませんが「ビールと紙おむつは一緒に買われる」という発見です。その発見をどのように活用するのかが重要ですが、今回はその部分のお話しは省き「誰にとっての発見なのか」というお話しをします。

 もし、本当に「ビールと紙おむつが一緒に買われる」という現象がある程度の頻度であるのなら、レジ業務の方は知っているはずです。なぜならば、頻繁に「ビールと紙おむつが一緒に買われる」という現場を見ているからです。要するに「ビールと紙おむつが一緒に買われる」という現象を、すごい発見だと言っている人は、現場感の無い人、もう少し言うと現場を知らない人でしょう。ここでいいたいのは、データで現れてくる結果は、実際に起こった事実です。その事実がある程度の頻度で起こるなら、その現場にいる人にとっては、日常目にすることなのです。そのため、現場を垣間見られないデータは、価値がないと思います。

 そうなると「データ分析をする意味はないのではないか」と思われがちですが、そうでもありません。「ビールと紙おむつが一緒に買われる」ということを、現場の人が記憶の奥にしまったままでいるケースがあるからです。相当記憶力の高い人でない限り、毎日起こっていることを、自分の頭のデータベースから自由自在に引き出すことは、あまりできないことでしょう。しかし、現場の人へ「ビールと紙おむつが一緒に買われているかどうか」と質問すれば「確かに、そう! そう!!」と思い出してくれるかもしれません。

(2)切り口が多いと混乱する

 では、データ分析の結果は現場の人に直接聞いてみると、その事実が確かめられるのでしょうか。単純なものであれば、確かめられると思います。前述した「ビールと紙おむつが一緒に買われる」ぐらいであれば単純ですので、確かめられると思います。切り口が「同時購買」の一つだからです。しかし、切り口が増えると人の脳では捉えられなくなってきます。

 例えば「同時購買」に加え「天候」、「時間帯」、「プロモーション」、「カレンダー」、「周辺で開催されているイベント」、「来店客層」、「立地」、「過去の販売状況」などです。あらゆる情報を頭にインプットし仕事をしている人もいるかもしれませんが、多くの人は印象的な情報の切り口だけで物事を処理してしまいます。

 

2. データ分析で混乱を減らす

 コンピューターに頼ったデータ分析は、多様な切り口からの分析が可能となり、時間的コストも減らしてくれます。そのための分析手法も多々ありますが、下手なデータ分析をすると返って混乱を招きます。

 頭脳明晰(めいせき)な方がデータ分析をすると、このような混乱を起こすことはあまりありませんが、自分で処理できる切り口の多様性の限界を超えると、分析をすればするほど混乱してしまいます。つまり、人によって処理できる切り口の多様性の量と質が異なるのです。要するに、自分で処理できる切り口の多様性の限界内であれば、自分の頭の中で処理できる切り口の多様性を広げ、データ分析で混乱を減らすことができます。そのあたりは、データ分析者の力量に大きく依存します。力量によっては、データ分析で多様な切り口を考慮しつつ、切り口が増えたことの混乱を減らしながら、ファクト(事実)を捉えることができます。

 私の感覚では、その力量は数学力でもなければ、ロジカルシンキング的なコンサルスキルでもありません。リベラルアーツ的なものが、データ分析者の力量に大きく影響を与えている気がします。

 

3. 現場感と違うと拒否される

 切り口の量と質のレベルが低ければ、分析結果を現場に見せると「確かに、そう! そう!!」となります。一方「切り口の量と質のレベルが高い」とは、切り口の数が多く複雑であるという意味で使います。では、切り口の量と質のレベルが高いデータ分析の結果を、現場に持っていくとどうなるでしょうか?

 データ分析への信頼があまりなく、データ分析を活用した経験が不足しているような状況の場合「現場感と違う」と拒否されるということが起こります。しかも「データから今までない気づきを得たい」というニーズからデータ分析が始まっていても「現場感と違う」、「分析がおかしいのでは」、「到底受け入れられるものではない」と拒否されるのです。しかし、現場感と一致し、現場にとって都合がいいものの場合は、例外として受け入れてもらえます。

 

4. 現場感とほぼ一致したデータ分析を行う

 現場から拒否されたデータ分析は、当然ですが活用してもらえません。その分析が正しいかどうかについては関係ありません。ただただ、使われないのです。実際、データ分析への信頼があまりない、データ分析を活用した経験が不足している、このような状況の部署や組織、機関の場合、多くが「現場感と違う」ということで拒否されます。では、どうすればいいのでしょうか。

 答えは単純で「現場感とほぼ一致」したデータ分析だけを実施し、データ分析・活用のメリットを甘受させることを最優先にしましょう。データ分析・活用への信頼を獲得する、ということから始めるということです。

そのようなことできるのかという疑問もありますが可能です。抽象的な言葉で説明しても限界があるので、また別の機会に具体的な事例で説明します。

【用語解説】

 ニューラルネットワーク:学習機能を備え、知識が蓄積されて、音声認識や文字認識、画像認識などに利用されている脳の情報処理の働きをモデルにした人工知能のシステム。

 サポートベクターマシン:分類、回帰などの問題を解く際に使われる手法

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
既存コア技術強化のためのオープン・イノベーション  研究テーマの多様な情報源(その21)

 1.コア技術(オープン・イノベーションの対象) ◆関連解説『情報マネジメントとは』    コア技術(ある領域を対象に設定し、1...

 1.コア技術(オープン・イノベーションの対象) ◆関連解説『情報マネジメントとは』    コア技術(ある領域を対象に設定し、1...


IoT「モノのインターネット化」とは(その3)

 前回のその2に続いて解説します。   3.HMD:ヘッドマウントディスプレイの応用例  HMD(ヘッドマウントディスプレイ)は製造ラインの業務...

 前回のその2に続いて解説します。   3.HMD:ヘッドマウントディスプレイの応用例  HMD(ヘッドマウントディスプレイ)は製造ラインの業務...


セキュリティ認証 制御システム(その7)

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...

  【制御システム 連載目次】 1. セキュリティ脅威と歴史 2. サイバー攻撃事例、情報システムとの違い 3. リスク分析とセキュ...


「情報マネジメント一般」の活用事例

もっと見る
‐販路開拓に関する問題 第2回‐ 製品・技術開発力強化策の事例(その18)

 販路開拓に関する問題点、次に示す4点について、第1回として、1と2項を解説しました。今回は、第2回として、3と4項を解説します。        1....

 販路開拓に関する問題点、次に示す4点について、第1回として、1と2項を解説しました。今回は、第2回として、3と4項を解説します。        1....


‐販路開拓に関する問題事例‐ 製品・技術開発力強化策の事例(その19)

 前回の事例その18に続いて解説します。多額の資金と労力を費やして開発した知的財産をどのように活用して販路開拓に結びつけるのか、大変重要な問題ですが、販売...

 前回の事例その18に続いて解説します。多額の資金と労力を費やして開発した知的財産をどのように活用して販路開拓に結びつけるのか、大変重要な問題ですが、販売...


現場のExcel依存に注意しよう

 マイクロソフトの「Excel」は企業の業務遂行にとって欠かせないツールになりました。数字の集計、グラフの作成にとどまらず、作業伝票の発行、作業の管理、資...

 マイクロソフトの「Excel」は企業の業務遂行にとって欠かせないツールになりました。数字の集計、グラフの作成にとどまらず、作業伝票の発行、作業の管理、資...