もっとも手軽なAIである異常検知 データ分析講座(その271)

更新日

投稿日

データ分析

 

AIって何だろうと考えたとき、感覚的に思いつくことの1つとして「何かを教えてくれるコンピュータ上の何か」といのもあるのではないでしょうか?何かを教えてくれるぐらいですから、そこそこ性格のいいAIです。そんなもの作れるか! っとなりますが、AIっぽいデータ活用の中で、もっとも手軽に実現できそうなのが異常検知です。「これ、変ですよ!」と教えてくれるからです。

 

実は、異常検知は昔からあるデータサイエンスの技術です。ということで今回は「もっとも手軽なAIである異常検知」というお話しをします。

 

【目次】
1.仲間外れを探す
2.過去・現在・未来
3.教師ありと教師なし
4.どう使い分けるのか?

【この連載の前回:(その270)階層時系列データと予測モデル構築へのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

1.仲間外れを探す

異常検知って何だろう? と考えたとき、最初に思い浮かんだのが「仲間外れを探す」というものです。異常検知とは、他のデータとは違うデータを探し、そして教えてくるものでしょう。データは、単に数値データだけでなく、画像データや音声データ、自然言語データなども含みます。

 

2.過去・現在・未来

異常検知の用途は幅広く、過去・現在・未来で活躍します。

 

例えば、データ整備中に過去データの外れ値などを探す作業はよくあることです。検知後、その理由を探り、どう対処するのかを決めデータ整備をします。

 

例えば、目の前にあるデータが正常か異常か検知する使い方もよくあることです。売上や受注件数、PV数などのモニタリングしている指標が異常かどうかを探ったり、工場などで外観検査をする際に画像データを利用し人手ではなく機械(コンピュータ)で外観検査をしたりします。

 

例えば、未来の異常を予測することもよくあります。顧客の離反という異常を予測したり、機械の故障という異常を予測したりし、未来の異常に対しあらかじめ対処できるようにする使い方もあります。

 

活躍の場面の多い異常検知ですが、異常検知をするためには、何かしら数理モデルのようなものを構築する必要があります。

 

3.教師ありと教師なし

機械学習の中に、教師あり学習と教師なし学習というものがあります。

 

異常検知も、教師あり学習によるものと、教師なし学習によるものがあります。教師あり学習による異常検知では、異常検知モデルを学習するとき、正常 or 異常のラベルが付いたデータを利用します。ということは、教師なし学習による異常検知モデルを学習するとき、そのデータには正常or異常のラベルが付いていないということです。

 

4.どう使い分けるのか?

一例として、データの取りはじめなど、データ量の問題で、教師なし学習による異常検知をすることがあります。データがそれなりに蓄積された段階で、教師あり学習による異常検知に切り替える、というものです。

 

通常、異常の発生頻度が小さいため、データ量が少ないと、異常のラベルの付いたデータが非常に少ないという問題があります。そして、多くの場合、精度は教師...

データ分析

 

AIって何だろうと考えたとき、感覚的に思いつくことの1つとして「何かを教えてくれるコンピュータ上の何か」といのもあるのではないでしょうか?何かを教えてくれるぐらいですから、そこそこ性格のいいAIです。そんなもの作れるか! っとなりますが、AIっぽいデータ活用の中で、もっとも手軽に実現できそうなのが異常検知です。「これ、変ですよ!」と教えてくれるからです。

 

実は、異常検知は昔からあるデータサイエンスの技術です。ということで今回は「もっとも手軽なAIである異常検知」というお話しをします。

 

【目次】
1.仲間外れを探す
2.過去・現在・未来
3.教師ありと教師なし
4.どう使い分けるのか?

【この連載の前回:(その270)階層時系列データと予測モデル構築へのリンク】

◆【特集】 連載記事紹介連載記事のタイトルをまとめて紹介、各タイトルから詳細解説に直リンク!!

◆データ分析講座の注目記事紹介

 

1.仲間外れを探す

異常検知って何だろう? と考えたとき、最初に思い浮かんだのが「仲間外れを探す」というものです。異常検知とは、他のデータとは違うデータを探し、そして教えてくるものでしょう。データは、単に数値データだけでなく、画像データや音声データ、自然言語データなども含みます。

 

2.過去・現在・未来

異常検知の用途は幅広く、過去・現在・未来で活躍します。

 

例えば、データ整備中に過去データの外れ値などを探す作業はよくあることです。検知後、その理由を探り、どう対処するのかを決めデータ整備をします。

 

例えば、目の前にあるデータが正常か異常か検知する使い方もよくあることです。売上や受注件数、PV数などのモニタリングしている指標が異常かどうかを探ったり、工場などで外観検査をする際に画像データを利用し人手ではなく機械(コンピュータ)で外観検査をしたりします。

 

例えば、未来の異常を予測することもよくあります。顧客の離反という異常を予測したり、機械の故障という異常を予測したりし、未来の異常に対しあらかじめ対処できるようにする使い方もあります。

 

活躍の場面の多い異常検知ですが、異常検知をするためには、何かしら数理モデルのようなものを構築する必要があります。

 

3.教師ありと教師なし

機械学習の中に、教師あり学習と教師なし学習というものがあります。

 

異常検知も、教師あり学習によるものと、教師なし学習によるものがあります。教師あり学習による異常検知では、異常検知モデルを学習するとき、正常 or 異常のラベルが付いたデータを利用します。ということは、教師なし学習による異常検知モデルを学習するとき、そのデータには正常or異常のラベルが付いていないということです。

 

4.どう使い分けるのか?

一例として、データの取りはじめなど、データ量の問題で、教師なし学習による異常検知をすることがあります。データがそれなりに蓄積された段階で、教師あり学習による異常検知に切り替える、というものです。

 

通常、異常の発生頻度が小さいため、データ量が少ないと、異常のラベルの付いたデータが非常に少ないという問題があります。そして、多くの場合、精度は教師あり学習による異常検知の方が高いです。もう1つの例として、両方を併用し、教師あり学習による異常検知で既知のパターンの異常を検知し、教師なし学習による異常検知で未知のパターンの異常を検知する、という使い方もあります。

 

教師あり学習の場合、正常or異常のラベルが付いたデータで学習するということは、異常のラベルのデータと似たようなパターンを異常と見なす、ということです。未知のパターンの異常を見逃す可能性があります。教師なし学習の場合、他のデータと違うデータを探すので、未知のパターンの異常を検知する可能性があります。

 

 

   続きを読むには・・・


この記事の著者

高橋 威知郎

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)

データネクロマンサー/データ分析・活用コンサルタント (埋もれたデータに花を咲かせる、データ分析界の花咲じじい。それほど年齢は重ねてないけど)


「情報マネジメント一般」の他のキーワード解説記事

もっと見る
デジタル・マーケティングの力を活用する データ分析講座(その36)

◆ MA(マーケティング・オートメーション)  MA(マーケティング・オートメーション)が流行しています。私の周りでも、とりあえず導入した企業も少な...

◆ MA(マーケティング・オートメーション)  MA(マーケティング・オートメーション)が流行しています。私の周りでも、とりあえず導入した企業も少な...


即時的データ分析・活用 データ分析講座(その170)

  ◆ 先行き不透明な時代に求められる”即時的”データ分析・活用  データ分析なり予測モデル構築をする際「これま...

  ◆ 先行き不透明な時代に求められる”即時的”データ分析・活用  データ分析なり予測モデル構築をする際「これま...


収益につながるデータ分析 データ分析講座(その6)

  ◆ データが無いと思ったらあったので、取引拡大に利用してみた  「ビッグデータ、ビッグデータと言うけど、うちの会社にデータと言えるよ...

  ◆ データが無いと思ったらあったので、取引拡大に利用してみた  「ビッグデータ、ビッグデータと言うけど、うちの会社にデータと言えるよ...


「情報マネジメント一般」の活用事例

もっと見る
‐販路開拓に関する問題 第2回‐ 製品・技術開発力強化策の事例(その18)

 販路開拓に関する問題点、次に示す4点について、第1回として、1と2項を解説しました。今回は、第2回として、3と4項を解説します。        1....

 販路開拓に関する問題点、次に示す4点について、第1回として、1と2項を解説しました。今回は、第2回として、3と4項を解説します。        1....


現場のExcel依存に注意しよう

 マイクロソフトの「Excel」は企業の業務遂行にとって欠かせないツールになりました。数字の集計、グラフの作成にとどまらず、作業伝票の発行、作業の管理、資...

 マイクロソフトの「Excel」は企業の業務遂行にとって欠かせないツールになりました。数字の集計、グラフの作成にとどまらず、作業伝票の発行、作業の管理、資...


守秘義務は情報社会の命綱

  1. 顧客データの管理  O社は、技術志向のエンジニアリング会社です。 扱う製品の設計図には、さまざまな情報が含まれています。クライアントから...

  1. 顧客データの管理  O社は、技術志向のエンジニアリング会社です。 扱う製品の設計図には、さまざまな情報が含まれています。クライアントから...