データサイエンティストを支える人財とは データ分析講座(その118)

更新日

投稿日

情報マネジメント

◆ データサイエンティストの最高の相棒はデータエンジニア

 ビジネスの世界に生きるデータサイエンティストの仕事とは、データとその活用領域であるドメインを結びつけることです。ドメインとは、営業やマーケティング、生産、経営などのデータを活用する現場のことです。データサイエンティストと同様に、データを取り扱う職業があります。その中で、データサイエンティストと一番混同されやすいのが、データエンジニアです。今回は「データサイエンティストの最高の相棒はデータエンジニア」というお話しをします。

1、データサイエンティスト

 データサイエンティストの定義は、データサイエンティストに期待されていることだけで考えると、データとその活用領域であるドメインを結びつけることです。賛否両論あるかもしれませんが、データとその活用領域であるドメインを結びつけないことには、評価されません。データサイエンティストは単にデータを相手にするのではないということです。

 

2、機械学習エンジニアとデータアナリスト

 データサンエンティストと似たような職業に、機械学習エンジニアやデータアナリストなどがあります。

 データとその活用領域であるドメインを結びつけるということから考えると、機械学習エンジニアもデータアナリストも、データサイエンティストに含まれます。どちらも、データとドメインを結びつけるのが仕事です。最終的なアウトプットが主に機械学習で活用する数理モデルである「機械学習系のデータサイエンティスト」と、最終的なアウトプットが主に分析レポートなどの報告書である「データアナリスト系のデータサイエンティスト」がいるという感じです。クッキリと明確に分かれているわけではありません。

 最近では、BI(ビジネスインテリジェンス)系のデータサイエンティストも登場してきます。分析レポートなどの報告書が、Qlick ViewやTableauなどのBIツールのダッシュボードになった感じです。BIツール周りのデータベースの設計やデータのやり取り、分析結果を出力するダッシュボードの設計など、データアナリスト系のデータサイエンティストとは違うスキルが求められるようになっています。

3、データエンジニア

 データサイエンスや機械学習などの書籍を多数出版しているO’Reilly 社のサイトに「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」という記事が掲載されています。

 この記事ではデータサイエンティストとデータエンジニアの対比が非常に分かりやすくまとめられています。この対比から分かるのは、データサイエンティストは数学的素養と高度な分析スキルが、データエンジニアよりも求められるということです。一方データエンジニアは、高度なプログラミングスキルを用いてビッグデータ処理が求められるようです。共通しているのはプログラミングスキルです。これは、あくまでもデータサイエンティストとデータエンジニアを対比させた場合、その違いを明確にするためのものですので求められるスキルは他にもあることでしょう。

4、データサイエンティストはロックスター

 データサイエンティストとデータエンジニアは、それぞれ別の職場で働くのでしょうか。実際は協働します。世界最大のコンピュータネットワーク機器開発会社であるCisco社のサイトに「Data Scientist or Data Engineer? Think Rock Star and Roadie(Neeraj Chadha、2016/11/15)」という記事が記載されています。データサイエンティストとデータエンジニアの協働関係を記載したものです。

 記事では「データサイエンティストはロックスターで、データエンジニアはステージを設置し部隊音響を手掛ける裏方です。データサイエンティストはデータエンジニアなくしては輝けない」と記載されています。データエンジニアは、収集したデータをHadoop や Spark などのビッグデータ技術を駆使することで、データサイエンティストが扱いやすいデータに変換し提供します。その提供されたデータを集計するほか可視化、分析、予測モデルなどを構築することで、ビジネスにつなげるのがデータサイエンティストです。

5、データサイエンティスト1人あたりデータエンジニアは何人必要?

 先ほどのO’Reilly 社サイトの掲載記事「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」によると「1人のデータサイエンティストを支えるためには、複数のデータエンジニアが必要である」と記載されています。スタート時点で「データサイエンティスト1人あたり2~3人のデータエンジニア」が必要で、より複雑なデータ処理段階になると「データサイエンティスト1人あたり4~5人のデータエンジニア」が必要になるということです。

 細かい人数はさておき、ビジネスの世界でデータ分析・活用で成果を出したいなら、データサイエンティストだけでなく、少なくとも1人以上のデータエンジ...

情報マネジメント

◆ データサイエンティストの最高の相棒はデータエンジニア

 ビジネスの世界に生きるデータサイエンティストの仕事とは、データとその活用領域であるドメインを結びつけることです。ドメインとは、営業やマーケティング、生産、経営などのデータを活用する現場のことです。データサイエンティストと同様に、データを取り扱う職業があります。その中で、データサイエンティストと一番混同されやすいのが、データエンジニアです。今回は「データサイエンティストの最高の相棒はデータエンジニア」というお話しをします。

1、データサイエンティスト

 データサイエンティストの定義は、データサイエンティストに期待されていることだけで考えると、データとその活用領域であるドメインを結びつけることです。賛否両論あるかもしれませんが、データとその活用領域であるドメインを結びつけないことには、評価されません。データサイエンティストは単にデータを相手にするのではないということです。

 

2、機械学習エンジニアとデータアナリスト

 データサンエンティストと似たような職業に、機械学習エンジニアやデータアナリストなどがあります。

 データとその活用領域であるドメインを結びつけるということから考えると、機械学習エンジニアもデータアナリストも、データサイエンティストに含まれます。どちらも、データとドメインを結びつけるのが仕事です。最終的なアウトプットが主に機械学習で活用する数理モデルである「機械学習系のデータサイエンティスト」と、最終的なアウトプットが主に分析レポートなどの報告書である「データアナリスト系のデータサイエンティスト」がいるという感じです。クッキリと明確に分かれているわけではありません。

 最近では、BI(ビジネスインテリジェンス)系のデータサイエンティストも登場してきます。分析レポートなどの報告書が、Qlick ViewやTableauなどのBIツールのダッシュボードになった感じです。BIツール周りのデータベースの設計やデータのやり取り、分析結果を出力するダッシュボードの設計など、データアナリスト系のデータサイエンティストとは違うスキルが求められるようになっています。

3、データエンジニア

 データサイエンスや機械学習などの書籍を多数出版しているO’Reilly 社のサイトに「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」という記事が掲載されています。

 この記事ではデータサイエンティストとデータエンジニアの対比が非常に分かりやすくまとめられています。この対比から分かるのは、データサイエンティストは数学的素養と高度な分析スキルが、データエンジニアよりも求められるということです。一方データエンジニアは、高度なプログラミングスキルを用いてビッグデータ処理が求められるようです。共通しているのはプログラミングスキルです。これは、あくまでもデータサイエンティストとデータエンジニアを対比させた場合、その違いを明確にするためのものですので求められるスキルは他にもあることでしょう。

4、データサイエンティストはロックスター

 データサイエンティストとデータエンジニアは、それぞれ別の職場で働くのでしょうか。実際は協働します。世界最大のコンピュータネットワーク機器開発会社であるCisco社のサイトに「Data Scientist or Data Engineer? Think Rock Star and Roadie(Neeraj Chadha、2016/11/15)」という記事が記載されています。データサイエンティストとデータエンジニアの協働関係を記載したものです。

 記事では「データサイエンティストはロックスターで、データエンジニアはステージを設置し部隊音響を手掛ける裏方です。データサイエンティストはデータエンジニアなくしては輝けない」と記載されています。データエンジニアは、収集したデータをHadoop や Spark などのビッグデータ技術を駆使することで、データサイエンティストが扱いやすいデータに変換し提供します。その提供されたデータを集計するほか可視化、分析、予測モデルなどを構築することで、ビジネスにつなげるのがデータサイエンティストです。

5、データサイエンティスト1人あたりデータエンジニアは何人必要?

 先ほどのO’Reilly 社サイトの掲載記事「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」によると「1人のデータサイエンティストを支えるためには、複数のデータエンジニアが必要である」と記載されています。スタート時点で「データサイエンティスト1人あたり2~3人のデータエンジニア」が必要で、より複雑なデータ処理段階になると「データサイエンティスト1人あたり4~5人のデータエンジニア」が必要になるということです。

 細かい人数はさておき、ビジネスの世界でデータ分析・活用で成果を出したいなら、データサイエンティストだけでなく、少なくとも1人以上のデータエンジニアが必要で、通常はデータサイエンティストよりも多いデータエンジニアが必要となります。

6、独りぼっち状態のデータサイエンティストという悲劇

 周辺に仲間も理解者もいない独りぼっち状態のデータサイエンティストのことを「ぼっちデータサイエンティスト」と呼びます。

  • 「よし、我が社もデジタルトランスフォーメーションだ」
  • 「ビッグデータだ! データサイエンスだ!!! AIだ!!!」

 このような掛け声のもと、データサイエンティストだけを揃えても上手くいかないことでしょう。データサイエンティストを支える人財がいないからです。ではデータエンジニアがいない場合、データサイエンティストはどうするのでしょうか。多くの場合自分自身でなんとかします。ソフトウェアエンジニアから見たら、見るに堪えないプログラムコードを書き、データエンジニアがやるはずのデータ処理を実施します。慣れないものだからプログラミングや実装したプログラムの処理スピードも、非常に遅くなる場合が多いようです。その結果ビジネスへのデータ分析・活用が大幅に遅れるか、データサイエンティストが無理をして働くことになります。毎日のように朝日を拝んで帰宅するデータサイエンティストが増えないことを祈るばかりです。

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
ビジネスデータ分析は因果関係を知りたい データ分析講座(その73)

◆ 結局のところ、ビジネスデータ分析は因果関係を知りたい  ここ数年、統計学系のモデルよりも機械学習系のモデルに注目が集まっているように感じられます...

◆ 結局のところ、ビジネスデータ分析は因果関係を知りたい  ここ数年、統計学系のモデルよりも機械学習系のモデルに注目が集まっているように感じられます...


データと洞察で戦略的意思決定を導く:データ分析講座(その333)

現代の急速に変化するビジネス環境で競争優位を保つためには、データとその中からの洞察を上手く活用することが不可欠です。データ駆動のアプローチが主流となる...

現代の急速に変化するビジネス環境で競争優位を保つためには、データとその中からの洞察を上手く活用することが不可欠です。データ駆動のアプローチが主流となる...


裁判で解決できないシステム開発トラブルとは

 桃尾・松尾・難波法律事務所の皆様が、過去のシステム紛争案件にかかわる150の判例を調査して「裁判例から考えるシステム紛争の法律実務」という本を出版されま...

 桃尾・松尾・難波法律事務所の皆様が、過去のシステム紛争案件にかかわる150の判例を調査して「裁判例から考えるシステム紛争の法律実務」という本を出版されま...


「情報マネジメント一般」の活用事例

もっと見る
‐技術開発の目標について 第1回‐  製品・技術開発力強化策の事例(その15)

 前回の事例その14に続いて解説します。製品開発を目指している企業の中には、テ-マが見つかったら、または、アイデアが閃いたら開発に取り組む。そのような淡い...

 前回の事例その14に続いて解説します。製品開発を目指している企業の中には、テ-マが見つかったら、または、アイデアが閃いたら開発に取り組む。そのような淡い...


守秘義務は情報社会の命綱

  1. 顧客データの管理  O社は、技術志向のエンジニアリング会社です。 扱う製品の設計図には、さまざまな情報が含まれています。クライアントから...

  1. 顧客データの管理  O社は、技術志向のエンジニアリング会社です。 扱う製品の設計図には、さまざまな情報が含まれています。クライアントから...


レストランでのタブレット端末

        最近、テーブルにタブレット端末を置くレストランが増えています。レストラン利用者としては、ウェ...

        最近、テーブルにタブレット端末を置くレストランが増えています。レストラン利用者としては、ウェ...