機械学習ABテスト データ分析講座（その204）

最もシンプルなデータ活用の1つがABテストです。A案とB案のどちらがいいのかをデータで判断する、という感じのデータ分析・活用（データサイエンス実践）です。この地味な、データ分析・活用（データサイエンス実践）は、明日からでも使えるものです。古くは実験計画法・分散分析として、統計学的なメソッドの1つとして名を馳せていました。今では、デジタルマーケティングの世界の必須メソッドの1つです。統計学的な手法を用いるABテストですが、最近では機械学習的な手法を活用することも増えています。

今回は、「機械学習ABテスト」というお話しをします。

【目次】

1.ABテストとは？
（１）従来の統計的アプローチ「2標本検定」
（２）統計的アプローチの限界
（３）3つの数理モデル（アルゴリズム）
（４）2標本検定（例：zスコア、t検定）の場合
（５）線形回帰
（６）決定木（ディシジョンツリー）
（７）XGBoostやLightGBMなど
2.使い分け例

1.ABテストとは？

デジタルマーケティングの世界では、例えば……

• ランディングページ
• フォーム
• タイトル

……などを決めるときに活用したりします。あらかじめA案とB案を考えておき、どちらがいいのかをデータで判断します。ABテストを拡張したものが多変量テストです。デジタルマーケティングではなく別の領域では、実験計画法・分散分析・多重比較・コンジョイント分析などと呼ばれていたものです。

（１）従来の統計的アプローチ「2標本検定」

従来の実験計画法・分散分析・多重比較・コンジョイント分析などでは、主に統計学的なアプローチを用います。ABテストも同様です。2標本検定（例：zスコア、t検定）という統計的な手法を使うことが多いです。2標本検定（例：zスコア、t検定）とは、2つの母集団（処理群と対照群）の平均などの差を検定することです。

• 対照群：比較の基準となるグループ（母集団）・・・例えば、A群（A案と接触したユーザ）
• 処理群：処理を加えたグループ（母集団）・・・例えば、B群（B案と接触したユーザ）

例えば、元のランディングページを見せるサイト訪問者を「対照群」、新しいランディングページを見せるサイト訪問者を「処理群」、処理群と対照群を比べて問い合わせや購入などの割合であるCVR（コンバージョンレート）が異なるかどうかを検討します。2つの母集団（処理群と対照群）と、難しそうな用語を使いましたが、要は2つのグループ（A群とB群）を比較し検討するということです。

（２）統計的アプローチの限界

2つの母集団（A群とB群）を比較するとき、あるポイントに絞って単純化して比較しています。しかし、現実世界は複雑です。例えば、ランディングページに訪問者の背景（性年代・趣味・価値観など）は異なりますし、ランディングページに滞在する時間も異なります。

（３）3つの数理モデル（アルゴリズム）

2標本検定（例：zスコア、t検定）による統計的アプローチによるABテストは、今でも有効です。2標本検定（例：zスコア、t検定）に次の3つの数理モデル（アルゴリズム）を付け加えると、より良くなります。

• 線形回帰：線形・解釈性大・複雑性低
• 決定木（ディシジョンツリー）：非線形・解釈性大・複雑性低
• XGBoostやLightGBMなど：非線形・解釈性小・複雑性大

解釈性や複雑性は私の主観ですが、大きくは間違ってはいないかと思います。ここで使っている解釈性とは、結果が解釈しやすく他者に説明のしやすさです。ここで使っている複雑性とは、どれだけ複雑な状況をモデル化できるかとというものです。

この3つの中では、「線形回帰」が最も簡単な数理モデル（アルゴリズム）で、「XGBoostやLightGBMなど」が最も難しい数理モデル（アルゴリズム）になります。上から順番に実施していきます。簡単なものから始めるということです。

（４）2標本検定（例：zスコア、t検定）の場合

2標本検定（例：zスコア、t検定）の場合、A群とB群の目的変数Yを集計（平均値など）し比較するだけです。目的変数Yとは、着目している指標で、問い合せ者数や購入者数、購入金額などです。目的変数Yと一緒に登場するワードに、説明変数Xというものがあります。

説明変数Xとは、目的変数Yに影響を与えるであろう変数を指し、機械学習の世界では特徴量というワードで表現したりします。この場合の説明変数Xは、どの群に所属するのか（A群 or B群）を表現する変数（ここでは、群変数と表現します）のみになります。「線形回帰」で考えると、単回帰と呼ばれる数理モデルになります。

（５）線形回帰

「線形回帰」でABテストを実施する場合、最も簡単なものは次のような設定です。

• 目的変数Y：着目している指標（問い合せ者数や購入者数、購入金額など）
• 説明変数X：群変数（どの群に所属するのかを表現する変数）

これでは、2標本検定（例：zスコア、t検定）と本質的に変わりません。そこで、説明変数Xで扱う変数を増やします。重回帰と呼ばれる「線形回帰」の数理モデルです。2標本検定（例：zスコア、t検定）の場合と異なり、群変数（A群 or B群）の影響を以外を分析対象にします。

「線形回帰」の結果、目的変数Yを左右しているであろう説明変数Xが分かります。正直ここまででもいいかもしれません。やるべきことの方向性が見えてくるからです。しかし、あくまでも直線的な線形の関係性しか分かりません。より複雑な関係性（直線的な線形の関係性を超える関係性）を知ることで、何をすべきかがより具体的に分かりやすくなります。

例えば、「もし説明変数Xを〇〇だけ変化させると、そのとき目的変数Yは〇〇だけ変化する」という実行ルール（If-Thenルール）が欲しいところです。If-Thenルールを抽出するための手法の1つが「決定木（ディシジョンツリー）」です。

（６）決定木（ディシジョンツリー）

「線形回帰」の次に「決定木（ディシジョンツリー）」を実施します。「決定木（ディシジョンツリー）」の目的変数Yと説明変数Xは、「線形回帰」と同じで構いません。「決決定木（ディシジョンツリー）」を実行すると、If-Thenルールを表現するツリーが手に入ります。このことから、「もし説明変数Xを〇〇だけ変化させると、そのとき目的変数Yは〇〇だけ変化する」という実行ルール（If-Thenルール）を得ることができ、目的変数Yををより良くするために何をすべきかが見えてきます。

「線形回帰」との大きな違いは、「決定木（ディシジョンツリー）」の場合には説明変数Xをどうすべきかが組み合わせで分かることです。

• 線形回帰の場合例：「説明変数X1」と「説明変数X2」をより大きくすると目的変数Yがより良くなる
• 決定木（ディシジョンツリー）の場合例：「0<説明変数X1≦100」かつ「500≦説明変数X2」にすると目的変数Yがより良くなる

何をすべきかが分かることは非常に大きいです。どうせなら、未来を高精度で予測したいものです。

（７）XGBoostやLightGBMなど

木（ツリー）が、たくさんあると森（フォレスト）になります。「決定木（ディシジョンツリー）」を、たくさん作って予測に活かそうという数理モデル（アルゴリズム）が、ランダムフォレストという数理モデル（アルゴリズム）です。

ランダムフォレストを発展させたのが「XGBoost」で、「XGBoost」を発展させたのが「LightGBM」です。どれを使ってもいいですが、「XGBoost」ぐらいがちょうどいいかもしれません。

現実的には「XGBoost」を解釈し実行ルール（If-Thenルール）を見出すのは至難の業です。ただ、「線形回帰」や「決定木（ディシジョンツリー）」に比べ、予測精度が高いです。

目的変数Yと説明変数Xの複雑な関係性をモデル化しているからです。

一様、「XGBoost」などにも、特徴量重要度（Feature Importance）や、SHAP(SHapley Additive exPlanation) などの予測貢献度などと呼ばれる指標を出すことが出来ますが、実行ルール（If-Thenルール）という感じではありませんし、まだまだ発展途上の分野です。

• 特徴量重要度：構築した数理...