単回帰分析における回帰式の注意点

更新日

投稿日

 単回帰分析とは、1個(単一)の説明変数(原因系)と目的変数(結果系)の関係を数式化することですが、基本的には直線近似を前提としています。そこで今回は、この回帰直線の意味を考えてみたいと思います。
 いろいろな教科書にも記載されている通り、この直線の方程式は最小二乗法を使って決定されます。よく勘違いされることの一つが、どの部分の最小二乗法であるかの点です。
 

1.回帰直線はyの残差を最小とする

 回帰直線の方程式は、各座標から「垂線の足」までの距離(の二乗の和)を最小化していると勘違いされることがよくあります。通常の回帰分析ではxに対するyをみたいので、図1の青線ではなく、赤線の距離(の二乗和)を最小化したものとなっています。傾きが45度ならば両直線の方程式は一致しますが、そうでなければ異なります。
 
 回帰分析
図1.回帰直線はyの残差を最小にする
 

2.回帰と逆回帰の結果は異なる

 もう一つありがちな勘違いは、「回帰直線を使ってxからyを推定した値は、yからxを推定した値と一致する」というものですが、これは一致しません。つまり逆回帰と回帰は一致しないので、yからxを推定するには、座標軸を入れ替えないといけません。結果から原因を推定するのに相当します。
 通常の回帰分析ではxの値からyを推定しており、この時の直線方程式は図2の赤線距離の二乗和を最小化しています。一方yからxを推定する時には、黒線距離の二乗和を最小にする必要があります。青色の線は、回帰と逆回帰とでは異なるのです。
 
回帰分析
図2.回帰と逆回帰の関係
   回帰分析          ...
 単回帰分析とは、1個(単一)の説明変数(原因系)と目的変数(結果系)の関係を数式化することですが、基本的には直線近似を前提としています。そこで今回は、この回帰直線の意味を考えてみたいと思います。
 いろいろな教科書にも記載されている通り、この直線の方程式は最小二乗法を使って決定されます。よく勘違いされることの一つが、どの部分の最小二乗法であるかの点です。
 

1.回帰直線はyの残差を最小とする

 回帰直線の方程式は、各座標から「垂線の足」までの距離(の二乗の和)を最小化していると勘違いされることがよくあります。通常の回帰分析ではxに対するyをみたいので、図1の青線ではなく、赤線の距離(の二乗和)を最小化したものとなっています。傾きが45度ならば両直線の方程式は一致しますが、そうでなければ異なります。
 
 回帰分析
図1.回帰直線はyの残差を最小にする
 

2.回帰と逆回帰の結果は異なる

 もう一つありがちな勘違いは、「回帰直線を使ってxからyを推定した値は、yからxを推定した値と一致する」というものですが、これは一致しません。つまり逆回帰と回帰は一致しないので、yからxを推定するには、座標軸を入れ替えないといけません。結果から原因を推定するのに相当します。
 通常の回帰分析ではxの値からyを推定しており、この時の直線方程式は図2の赤線距離の二乗和を最小化しています。一方yからxを推定する時には、黒線距離の二乗和を最小にする必要があります。青色の線は、回帰と逆回帰とでは異なるのです。
 
回帰分析
図2.回帰と逆回帰の関係
   回帰分析                
 
 回帰直線は、点推定になりますが、信頼区間を求めることができます。この場合も当然、回帰と逆回帰では結果が異なってきます。結果から原因系の管理基準を決める場合や、検量線を引くような時に注意が必要となります。
 
 

   続きを読むには・・・


この記事の著者

村島 繁延

QCDはバランスさせるものではなく、全て両立させるものだという信念で向かいます。一石三鳥を狙った成果を目指します。

QCDはバランスさせるものではなく、全て両立させるものだという信念で向かいます。一石三鳥を狙った成果を目指します。


「回帰分析」の他のキーワード解説記事

もっと見る
単回帰分析で二変数間の従属関係を知る

1.単回帰分析とは  一般的に2変数以上の多変量のデータで、ある1変数を残りの変数で説明しようとする解析法を回帰分析と言います。主となる変数は"目的変数...

1.単回帰分析とは  一般的に2変数以上の多変量のデータで、ある1変数を残りの変数で説明しようとする解析法を回帰分析と言います。主となる変数は"目的変数...


単回帰分析応用における信頼区間と逆推定による管理基準作成

 母体から、20個とか50個をサンプリングしてきてその平均をとった場合、母体の真の平均からずれますが、どの程度ずれているのかがわかれば非常にアクションがと...

 母体から、20個とか50個をサンプリングしてきてその平均をとった場合、母体の真の平均からずれますが、どの程度ずれているのかがわかれば非常にアクションがと...


回帰分析のリスキリング 【厳選記事紹介】

  回帰分析の学び直しに厳選記事が無料でお読みいただけます!   ◆こんな方におすすめ!=回帰分析を学び直したい!= 「回...

  回帰分析の学び直しに厳選記事が無料でお読みいただけます!   ◆こんな方におすすめ!=回帰分析を学び直したい!= 「回...


「回帰分析」の活用事例

もっと見る
回帰分析の応用事例

   今回は、統計手法の一つである「回帰分析」の解析事例を解説します。    事例として、ほぼ同じタイミングで製造を開始した製品(約200個)に現時...

   今回は、統計手法の一つである「回帰分析」の解析事例を解説します。    事例として、ほぼ同じタイミングで製造を開始した製品(約200個)に現時...


統計手法による改善事例:検査コスト削減〔回帰分析〕

 製造メーカーG社は製品品質の保証を最終分析結果にて行っていましたが、分析結果を待っての出荷となる為、 生産計画が組みにくい問題点を抱えていました。最終検...

 製造メーカーG社は製品品質の保証を最終分析結果にて行っていましたが、分析結果を待っての出荷となる為、 生産計画が組みにくい問題点を抱えていました。最終検...