教師あり・なし学習による異常検知とは：データ分析講座（その315）

データサイエンスのビジネス活用が広まる中、最も活用されているものの1つが異常検知です。異常検知とは、膨大なデータの中から通常とは異なるものを特定すること、もしくはそのプロセスです。例えば、ECサイトをハッキングし不正な行動をする人は、通常の購入者と異なる購入パターン (購入金額や購入頻度、支払い方法、配送先住所、Cookieなど) を行う可能性があります。例えば、機器が故障する数日前から、機器内のセンサーデータのパターンが通常と異なる状態になる可能性があります。このような異常検知を、どのようなアルゴリズムで検出するのでしょうか。

日に数十レコードぐらいのデータ量であれば、人力でどうにかなるかもしれません。しかしデータ量が膨大で、数百万レコード、数十億レコードと、日々発生すると、人の目で見て判断するには限界があります。そのような場合、機械学習的なアプローチで実施するのが楽です。異常検知のアルゴリズムには色々ありますが、昔からあり比較的簡易なアプローチに、教師あり学習による異常検知と、教師なし学習による異常検知があります。今回は「教師あり異常検知と教師なし異常検知」というお話しをします。

【記事要約】
異常検知のアルゴリズム、簡易なアプローチである教師あり・なし学習による検知、このような異常検知を、どのようなアルゴリズムで検出するのか。データ量が膨大で、どのデータが異常で、どのデータが正常なのかラベリングされており、そのことから異常パターンがあらかじめ知りえるのであれば、教師あり学習による異常検知です。データ量が少なく、どのデータが異常で、どのデータが正常なのかラベリングされておらず、異常パターンが分からない場合には、教師なし学習による異常検知です。教師あり学習でしたらロジスティック回帰や決定木系など、教師なし学習でしたらクラスター分析や潜在クラス分析、混合正規分布モデルなどです。

1.「教師あり学習」と「教師なし学習」

機械学習では、「教師あり学習」と「教師なし学習」というワードがでてきます。教師あり学習とは、教師ラベル（目的変数y）が付いたデータセットを学習に利用する機械学習アプローチです。

（１）教師あり学習

多くの場合、教師ラベル（目的変数y）に「異常」or「正常」の値が入ります。もしくは、異常を複数の複数の分類もしくはレベル分類されている場合には、その異常の種類やレベルを示す値が入ります。

このような機械学習問題を、分類問題と表現したりします。この教師ラベル（目的変数y）をもとに、異常検知のためのモデルを構築します。子どもたちが、正解のあるドリルを使い学習するのに似ています。

（２）教師なし学習

一方、教師なし学習とは、教師ラベル（目的変数y）が付いていないデータセットを学習に利用する機械学習アプローチです。要は、教師ラベル（目的変数y）が無いため、どのレコードが正常で、どのレコードが異常なのかは、あらかじめ分かりません。この状態で異常検知のためのモデルを構築します。

2. 教師あり異常検知

教師あり異常検知は、教師あり学習で構築した数理モデルを活用し、異常検知をするアプローチです。学習で使うデータに教師ラベル（目的変数y）があることで、異常パターンがどのようなものなのかを知ることができます。そのことから、新たに手にしたデータが、異常なのか正常なのかを分類することができます。一般的には分類問題と言われ、多くの数理モデルが提案されています。古典的には、ロジスティック回帰モデルや決定木系のモデルなどが有名です。

ただ、異常ラベルの付いたレコードと正常ラベルの付いたレコードが、バランスよく存在することは少なく、異常ラベルの付いたレコードが極端に少ないケースが多いです。そのため、異常ラベルの付いたレコードであるデータがある程度溜まるまで、データを蓄積し続けなければ、このアプローチは使えません。まとめると、教師あり異常検知は、異常パターンをあらかじめ知っていて、そのパターンに当てはまるかどうかを見ていく、ただしそのためにデータ量がすれなりに必要、そんな感じです。

3. 教師なし異常検知

教師なし異常検知は、教師なし学習で構築した数理モデルを活用し、異常検知をするアプローチです。学習で使うデータに教師ラベル（目的変数y）がないため、異常パターンがどのようなものかを、事前に知ることはできません。しかし、ある1つのことは事前に知っています。それは、正常データと異なる、ということです。

正常データと異なるため異常データと言われているので、当たり前と言えば当たり前ですが、そのことを利用します。そのため、手元に異常データがなくとも正常データさえあれば、異常検知をすることができ、学習データのデータ量も少なくてすみます。ちなみに、最もシンプルな方法は、似たようなパターンを持つレコードをグルーピングするクラスター分析を活用した方法です。

クラスター分析を実施したとき、異常データは正常データと異なるグループ（クラスター）に属します。属するというか、ひとりぼっち状態に近くなります。他のクラスターから距離をとるようになります。ここであることに気を付けなければなりません。それは、正常データなのにひとりぼっちになることもある、ということです。そのため、教師あり異常検知に比べ、学習データの量は少なくて済みますが、精度面で劣ります。

4. 完全な検知はありえない

教師あり異常検知であろうが、教師なし異常検知であろうが、異常の完全な検知はありえません。多くの場合、異常かもしれないデータを発見し、そのデータが異常かどうかは人が判断します。要するに、異常検知は人が異常かどうかを判断する作業を、データサイエンス技術を駆使して、効率的に（もしくは楽に）する。
異常検知の精度を高める。スピードを上げる。といった感じです。実際に、サイバーセキュリティ業務の中で、99%近く効率化した事例もあります。