単回帰分析における回帰式の注意点

更新日

投稿日

 単回帰分析とは、1個(単一)の説明変数(原因系)と目的変数(結果系)の関係を数式化することですが、基本的には直線近似を前提としています。そこで今回は、この回帰直線の意味を考えてみたいと思います。
 いろいろな教科書にも記載されている通り、この直線の方程式は最小二乗法を使って決定されます。よく勘違いされることの一つが、どの部分の最小二乗法であるかの点です。
 

1.回帰直線はyの残差を最小とする

 回帰直線の方程式は、各座標から「垂線の足」までの距離(の二乗の和)を最小化していると勘違いされることがよくあります。通常の回帰分析ではxに対するyをみたいので、図1の青線ではなく、赤線の距離(の二乗和)を最小化したものとなっています。傾きが45度ならば両直線の方程式は一致しますが、そうでなければ異なります。
 
 回帰分析
図1.回帰直線はyの残差を最小にする
 

2.回帰と逆回帰の結果は異なる

 もう一つありがちな勘違いは、「回帰直線を使ってxからyを推定した値は、yからxを推定した値と一致する」というものですが、これは一致しません。つまり逆回帰と回帰は一致しないので、yからxを推定するには、座標軸を入れ替えないといけません。結果から原因を推定するのに相当します。
 通常の回帰分析ではxの値からyを推定しており、この時の直線方程式は図2の赤線距離の二乗和を最小化しています。一方yからxを推定する時には、黒線距離の二乗和を最小にする必要があります。青色の線は、回帰と逆回帰とでは異なるのです。
 
回帰分析
図2.回帰と逆回帰の関係
   回帰分析          ...
 単回帰分析とは、1個(単一)の説明変数(原因系)と目的変数(結果系)の関係を数式化することですが、基本的には直線近似を前提としています。そこで今回は、この回帰直線の意味を考えてみたいと思います。
 いろいろな教科書にも記載されている通り、この直線の方程式は最小二乗法を使って決定されます。よく勘違いされることの一つが、どの部分の最小二乗法であるかの点です。
 

1.回帰直線はyの残差を最小とする

 回帰直線の方程式は、各座標から「垂線の足」までの距離(の二乗の和)を最小化していると勘違いされることがよくあります。通常の回帰分析ではxに対するyをみたいので、図1の青線ではなく、赤線の距離(の二乗和)を最小化したものとなっています。傾きが45度ならば両直線の方程式は一致しますが、そうでなければ異なります。
 
 回帰分析
図1.回帰直線はyの残差を最小にする
 

2.回帰と逆回帰の結果は異なる

 もう一つありがちな勘違いは、「回帰直線を使ってxからyを推定した値は、yからxを推定した値と一致する」というものですが、これは一致しません。つまり逆回帰と回帰は一致しないので、yからxを推定するには、座標軸を入れ替えないといけません。結果から原因を推定するのに相当します。
 通常の回帰分析ではxの値からyを推定しており、この時の直線方程式は図2の赤線距離の二乗和を最小化しています。一方yからxを推定する時には、黒線距離の二乗和を最小にする必要があります。青色の線は、回帰と逆回帰とでは異なるのです。
 
回帰分析
図2.回帰と逆回帰の関係
   回帰分析                
 
 回帰直線は、点推定になりますが、信頼区間を求めることができます。この場合も当然、回帰と逆回帰では結果が異なってきます。結果から原因系の管理基準を決める場合や、検量線を引くような時に注意が必要となります。
 
 

   続きを読むには・・・


この記事の著者

村島 繁延

QCDはバランスさせるものではなく、全て両立させるものだという信念で向かいます。一石三鳥を狙った成果を目指します。

QCDはバランスさせるものではなく、全て両立させるものだという信念で向かいます。一石三鳥を狙った成果を目指します。


「回帰分析」の他のキーワード解説記事

もっと見る
重回帰分析とは

         今回は、重回帰分析をおこなうために、ある目的変数に対して相関分析を行い、相関係数の高い項目をピッアップし、回帰式を作成したい場合を...

         今回は、重回帰分析をおこなうために、ある目的変数に対して相関分析を行い、相関係数の高い項目をピッアップし、回帰式を作成したい場合を...


エクセルでの重回帰分析

 重回帰分析といえば説明変数が複数の回帰式をいいます。ものづくりの場面ではもちろん、マーケット調査や心理学など社会科学の分野でも活用されている一方で、単回...

 重回帰分析といえば説明変数が複数の回帰式をいいます。ものづくりの場面ではもちろん、マーケット調査や心理学など社会科学の分野でも活用されている一方で、単回...


ものづくりにおけるデータ活用術、「有用でも昔は困難、今簡単なもの」

 ものづくりの場では、様々なデータが存在します。QC7つ道具のひとつである特性要因図(下図)は、特性(結果)に対する要因(原因系)を整理する手法ですが、対...

 ものづくりの場では、様々なデータが存在します。QC7つ道具のひとつである特性要因図(下図)は、特性(結果)に対する要因(原因系)を整理する手法ですが、対...


「回帰分析」の活用事例

もっと見る
統計手法による改善事例:検査コスト削減〔回帰分析〕

 製造メーカーG社は製品品質の保証を最終分析結果にて行っていましたが、分析結果を待っての出荷となる為、 生産計画が組みにくい問題点を抱えていました。最終検...

 製造メーカーG社は製品品質の保証を最終分析結果にて行っていましたが、分析結果を待っての出荷となる為、 生産計画が組みにくい問題点を抱えていました。最終検...


回帰分析の応用事例

   今回は、統計手法の一つである「回帰分析」の解析事例を解説します。    事例として、ほぼ同じタイミングで製造を開始した製品(約200個)に現時...

   今回は、統計手法の一つである「回帰分析」の解析事例を解説します。    事例として、ほぼ同じタイミングで製造を開始した製品(約200個)に現時...