数理統計学的な厳密性との狭間で データ分析講座(その155)

更新日

投稿日

データ分析

 

◆ データ分析・活用と数理統計学的な厳密性との狭間で

 データ分析やデータサイエンス、機械学習などの基礎的なバックボーンとして、数理統計学に関するある程度の知識は必須です。しかしデータ分析・活用を目指すなら、数理統計学的厳密性は放棄したほうが良さそうです。今回は「データ分析・活用と数理統計学的な厳密性との狭間で」というお話をします。

 

1. 数統計学的な判断をデータ分析に組み込む

 データ分析・活用を考えた時、その中で統計学的な判断をデータ分析に組み込むことをよく考えます。

 統計学的な判断とは、次のようなデータによる意思決定支援です。

  • 対前年比で売り上げはどうだろうか?
  • 今日の売り上げは、通常と比べ悪いといえるのだろうか?
  • 先週行ったキャンペーンの影響はどうだろうか?
  • 売り上げに効いている要因として、何が考えられるだろうか?
  • 先日の土・日の売り上げが悪かった要因は、何であろうか?
  • 何の対策を打たないまま営業すると、来月どうなりそうか?
  • A案とB案、どちらがいいだろうか?

 

2. 厳密性を追求したあのころ

 私が20代のころ、数理統計学的な厳密性を最大限に考慮したデータ分析を試行したことがありました。いたずらに時間だけが過ぎ、骨の折れるものでした。工夫次第でどうにかなりそうで、どうにもならないものでした。現場のスピード感に合わせるためには、どこかで厳密性の追求を放棄する必要が出てきました。

 

(1) 回帰分析

 データ分析・活用で、よく登場するものに回帰分析というものがあります。手法の紹介やツールの使い方を説明した、データ分析やデータサイエンス、機械学習などの入門書に、必ず登場する分析手法です。回帰分析については、これ以上説明はしません。よく目にする分析手法だということだけ、ここでは知って頂ければと思います。

 

3. 数理統計学的厳密性を満たすのはほぼ不可能

 回帰分析は、厳密には独立性・等分散性・正規性・線形性などの条件を満たす必要があります。これらの条件の話も、ここでは説明しません。ここで言いたいのは、ビジネスの現場で発生するデータは、これらの条件を満たすことは皆無だということです。実際は、工夫次第でこれらの条件に近づくことは可能です。

 しかし近づくだけで条件を十分に満たすことはありません。

 

(1) 明らかに条件を逸脱していない限り、実務的にはいいのではないか

 言いたいことは「明らかに条件を逸脱していない限り、実務的にはいいのではないか」ということです。したがって実務的には数理統計学的...

データ分析

 

◆ データ分析・活用と数理統計学的な厳密性との狭間で

 データ分析やデータサイエンス、機械学習などの基礎的なバックボーンとして、数理統計学に関するある程度の知識は必須です。しかしデータ分析・活用を目指すなら、数理統計学的厳密性は放棄したほうが良さそうです。今回は「データ分析・活用と数理統計学的な厳密性との狭間で」というお話をします。

 

1. 数統計学的な判断をデータ分析に組み込む

 データ分析・活用を考えた時、その中で統計学的な判断をデータ分析に組み込むことをよく考えます。

 統計学的な判断とは、次のようなデータによる意思決定支援です。

  • 対前年比で売り上げはどうだろうか?
  • 今日の売り上げは、通常と比べ悪いといえるのだろうか?
  • 先週行ったキャンペーンの影響はどうだろうか?
  • 売り上げに効いている要因として、何が考えられるだろうか?
  • 先日の土・日の売り上げが悪かった要因は、何であろうか?
  • 何の対策を打たないまま営業すると、来月どうなりそうか?
  • A案とB案、どちらがいいだろうか?

 

2. 厳密性を追求したあのころ

 私が20代のころ、数理統計学的な厳密性を最大限に考慮したデータ分析を試行したことがありました。いたずらに時間だけが過ぎ、骨の折れるものでした。工夫次第でどうにかなりそうで、どうにもならないものでした。現場のスピード感に合わせるためには、どこかで厳密性の追求を放棄する必要が出てきました。

 

(1) 回帰分析

 データ分析・活用で、よく登場するものに回帰分析というものがあります。手法の紹介やツールの使い方を説明した、データ分析やデータサイエンス、機械学習などの入門書に、必ず登場する分析手法です。回帰分析については、これ以上説明はしません。よく目にする分析手法だということだけ、ここでは知って頂ければと思います。

 

3. 数理統計学的厳密性を満たすのはほぼ不可能

 回帰分析は、厳密には独立性・等分散性・正規性・線形性などの条件を満たす必要があります。これらの条件の話も、ここでは説明しません。ここで言いたいのは、ビジネスの現場で発生するデータは、これらの条件を満たすことは皆無だということです。実際は、工夫次第でこれらの条件に近づくことは可能です。

 しかし近づくだけで条件を十分に満たすことはありません。

 

(1) 明らかに条件を逸脱していない限り、実務的にはいいのではないか

 言いたいことは「明らかに条件を逸脱していない限り、実務的にはいいのではないか」ということです。したがって実務的には数理統計学的な厳密性は、過剰に追求しないほうがいいでしょう。

(2) 数理統計学の知識は必要か

 データ分析を実施する上で、数理統計学の知識は必要です。大学の1、2年生レベルの教科書など簡単な書籍を参考に学習して頂ければと思います。数理統計学的厳密性を知っていた上で厳密性を崩したデータ分析をするのと、知らずに厳密性を崩してデータ分析するのとでは、大きく意味合いは異なります。場合によっては、分析結果の解釈に大きく影響することがあります。

 

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
ビジネスの現場で時系列データに遭遇したときに、押さえておくべき3つの視点とは データ分析講座(その53)

◆ ビジネス系のデータは、時系列が多い。そこで、先ず3つの視点で分析。  今どきの高校生は、統計学やデータ分析を普通に授業で学んでいます。私が高校時...

◆ ビジネス系のデータは、時系列が多い。そこで、先ず3つの視点で分析。  今どきの高校生は、統計学やデータ分析を普通に授業で学んでいます。私が高校時...


SOR理論とデータ分析の「XYZフレームワーク」 データ分析講座(その158)

  ♦ レコメンド情報示し、確実なアクションを導く  今回は「SOR理論とデータ分析の『XYZフレームワーク』」の解説です。 ...

  ♦ レコメンド情報示し、確実なアクションを導く  今回は「SOR理論とデータ分析の『XYZフレームワーク』」の解説です。 ...


DXはIT投資ではなく人財投資へ データ分析講座(その232)

  【この連載の前回:データ分析講座(その231)DXを阻む「鉛筆を舐めておけ文化」へのリンク】 ◆関連解説『情報マネジメントとは』 ...

  【この連載の前回:データ分析講座(その231)DXを阻む「鉛筆を舐めておけ文化」へのリンク】 ◆関連解説『情報マネジメントとは』 ...


「情報マネジメント一般」の活用事例

もっと見る
中小製造業とIoTの波

 「IoT(アイオーティー)」の波が、中小製造業にどのような影響をおよぼすのか、具体的にどのような変化がこの業界に訪れるのかについて、解説します。   ...

 「IoT(アイオーティー)」の波が、中小製造業にどのような影響をおよぼすのか、具体的にどのような変化がこの業界に訪れるのかについて、解説します。   ...


情報、常識の検証を考える

1、勝ち組と負け組を支配する情報  皆さんがご存じの大手予備校有名講師である林先生が、かつてテレビで「情報」に関して興味深いことをおっしゃっており、...

1、勝ち組と負け組を支配する情報  皆さんがご存じの大手予備校有名講師である林先生が、かつてテレビで「情報」に関して興味深いことをおっしゃっており、...


ソフトウェア特許とは(その1)

 色々と定義はありますが、ソフトウェア特許とは、よく言うビジネスモデル特許であり、情報システムの特許です。言葉に差はあると思いますが、我々実務家は、ソフト...

 色々と定義はありますが、ソフトウェア特許とは、よく言うビジネスモデル特許であり、情報システムの特許です。言葉に差はあると思いますが、我々実務家は、ソフト...