【重回帰分析】原理・計算式・決定係数・例題

この記事では、重回帰分析の意味や使い方、相関係数(偏回帰係数)や決定係数などについて解説します。

重回帰分析とは

重回帰分析とは、以下のようなモデル(式)を用いて予測する手法です。

(1)   \begin{eqnarray*} \widehat{y} = a_1x_1 + a_2x_2 + ・・・ + a_nx_n + b \end{eqnarray*}

パラメータ 説明
\widehat{y} 目的変数(予測値)
y 目的変数(観測値)
x_i 説明変数(目的変数と相関のある観測値)
a_i 相関係数(重み、偏回帰係数)
b 切片(定数)

相関係数(重み)は、目的変数が各説明変数に対してどのくらい影響を及ぼすかを示します。
単回帰分析の説明変数が複数になったものが「重回帰分析」です。

関連記事
1 【単回帰分析】計算式・相関係数・決定係数・例題

説明変数が複数になったので、単回帰よりも正確なモデルを立てやすくなります。

単回帰分析の流れは次の通りです。

手順

説明
1 目的変数と説明変数の観測値のセット(x1, x2 ... xn, y)を用意する。
2 (x_1, x_2 ... x_n, y)から最小二乗法で連立方程式の式を求める。
3 求めた重回帰直線の式を決定係数Rで評価する。
4 評価の結果が良ければ生成したモデル(単回帰直線の式)に説明変数の観測値をx_1, x_2 ... x_nに入れて予測値\widehat{y}を求める。

重回帰分析の例

重回帰の式のイメージを掴むために、地価の予測を例に考えてみます。

地価=重み1×最寄り駅までの距離 + 重み2×最寄りスーパーまでの距離 + 定数
パラメータ 内容
目的変数 地価
説明変数 最寄り駅までの距離、最寄りスーパーまでの距離
相関係数 重み1(立地条件が地価に与える影響)
切片(定数) その他の要因からなる数値(治安状況、景気の影響など)

決定係数R2

単回帰分析と同様、決定係数R^2により求めた回帰直線がどの程度優れているか調べることができます。
決定係数R^2は予測値の分散S_\widehat{y}と観測値yから以下の計算式により求まります。

(2)   \begin{eqnarray*} R^2 = \frac{S_\widehat{y}}{S_y} \end{eqnarray*}

決定係数R^2は0~1の値を取り、1に近づくほど精度が良いことを示します。

関連記事
1 【機械学習入門】アルゴリズム&プログラミング
2 【統計学入門】アルゴリズム&プログラミング
機械学習
技術雑記

コメント

タイトルとURLをコピーしました