データはあくまでも、この世で起こった事象のある一部分を切り取りデータとして表出された何かです。ある暑い夏の日、喉が渇いたという理由で、コンビニで500ペットの飲料を1つ購買すれば、それがPOSデータという名のデータとして記録されます。このように、データはあくまでも、ある事象のほんの一部分しか表現していません。それも極一部です。データサイエンスや機械学習、AI、DXなどで表現されるデータ活用の多くは、この極一部のデータを活用し、この世の何かしらより良い影響を与えようと目論むものです。そう考えると、データ活用というものは、もの凄いことです。今回は「データから垣間見る人間模様を想像する事象理解」というお話しをします。
【この連載の前回：統計的機械学習で使用する混同行列と評価指標 データ分析講座（その296） へのリンク】
1. 想像力がものを言う
データ活用で上手くいくかどうかの要素の一つに、想像力というものがあります。データはあくまでも、この世で起こった事象のある一部分を切り取りデータとして表出された何かです。ある事象のほんの一部分しか表現していないデータから、その事象をいかに捉えるのか、その手段は想像力しかありません。コンビニで500ペットの炭酸料がある時間帯に非常に売れた、というデータから事象の全体像を想像する、ということです。
例えば……
- その日とても暑かったから売れたのだろうか
- 近くで何かイベントがあったのだろうか
- 他の商品が品薄で炭酸飲料ばかりになったためだろうか
- キャンペーン中だったからだろうか
……などなど。そこを見誤ると、とんでもないことが起こるかもしれません。
2. データ理解とは？
データ活用の第一歩として「データ理解」というステップがあります。文字通り、データを理解する、というステップです。集めたデータを、色々な軸で集計したり、平均値や分散、最大値、最小値などの基本統計量を計算したり、どのようなデータなのかを理解するステップです。
集計したり基本統計量を計算したりするだけでは、データ理解はできません。なぜならば、データ理解とは「データを通した事象理解」だからです。「データを通した事象理解」とは「そのデータを通しどのような事象が生起したのかを理解する」ということです。
3. データ理解には現場理解がポイント
データだけをいくら眺めても、事象理解をすることは困難です。例えば、データサイエンスや機械学習などの初学者が、サンプルデータを使い、データ分析したりモデル構築したりしても、多くの人は実感が無いというか臨場感は沸かないことでしょう。なぜならば、事象理解していないからです。
事象理解の前提は、現場理解です。現場を知らない人が、その現場を想像するのは困難です。そのため、データ理解をするには、データが発生している現場や、それを活用する現場などを、直に見に行ったほうが早いです。そこで、現場の人とお話しができたら、なおいいです。一番いいのは、現場を体験することです。
4. 現場無視の提言
事象理解のないデータサイエンスや機械学習などは、非常識な提言を誘発します。某飲料メーカの新卒のデータサイエンティストです。意気揚々と彼は、次のような提案をもってきました。
- 気温が25度を超えた瞬間に増産する（それにともない工員を採用する）
- 気温が25度以下になった瞬間に減産する（それにともない工員を解雇する）
増産するには、働く人を増やし工場のラインの新設が必要になります。そう簡単にできることではありません。減産の場合は、どの逆のことをやる必要があります。そもそも、従業員の採用と解雇を、気温を理由に秒で行うことはできません。衝撃の提案ですが、似たようなことを、たまに見かけます。...
