【単回帰分析とは】計算式の仕組みをわかりやすく解説

単回帰分析とは？計算式の仕組みや求め方、決定係数による性能検証方法などをVTuberの視聴者数予測を例をわかりやすく解説します。

単回帰分析とは

単回帰分析（Simple Linear Regression）は、1つの特徴量（x）から1つのターゲット変数（y）を予測するモデルです。数学的には以下の式で表されます。

予測値を計算する式：$ \hat{y} = ax + b $
実測値の関係：$ y = ax + b + \varepsilon $

予測値を計算する式$ \hat{y} = ax + b $は、「$x$に比例して$\hat{y}$が変化する関係」を表す、傾き$a$、切片$b$の一次関数です。グラフにすると以下のようなまっすぐな直線になります。この直線を「回帰直線」といいます。

回帰直線

回帰直線の使い方

「VTuberの同時視聴者数を予測」することを例に、単回帰分析の計算式の意味と使い方を解説します。
例えば、以下のような4名のVTuberの初回配信における「チャンネル登録者数」と「視聴者数」の実測値のデータがあるとします。

①　チャンネル登録者数をx軸、視聴者数をy軸としたグラフに実測値をプロットします。（以下グラフの青い点が実測値）

②　プロットした点とのズレ（誤差）が最小になるような直線を引きます。この直線を回帰直線（赤色）といいます。

③　回帰直線の傾き$a$と切片$b$を求めます。今回の例だと以下のようになります。

$ a = 0.03242990654205607 $
$ b = -823.3644859813076 $

④　傾き$a$と切片$b$が求まれば、回帰直線の計算式が定まります。今回の例だと以下のようになります。（小数点第4位で切り捨て）

$ \hat{y} = 0.0324x -823.3644 $

⑤ これで、「チャンネル登録者数」から「視聴者数」を予測することができるようになります。
例えば、「チャンネル登録者数」が20万人の場合、上記の計算式の $x = 200,000 $ となるので、

$ \hat{y} = 0.0324 \times 200,000 – 823.3644 = 5,656.6356 $

となります。つまり、チャンネル登録者数20万人の視聴者数の期待値（平均）は約5,656人と予測できます。

回帰直線の求め方（最小二乗法）

回帰直線の意味と使い方がわかったところで、具体的にどのように求めるのかを解説します。回帰直線を求めるには「最小二乗法（Least Squares Method）」という、データ点に最もよくフィットする直線を求める方法を用います。

① 最小二乗法では、残差（予測値と実測値の差）の二乗和を最小にするような直線$ \hat{y} = a x + b $を求めます。残差$e_i$の計算式は以下のようになります。

$ e_i = y_i – \hat{y_i} = y_i – (a x_i + b) = y_i – a x_i – b $

② 残差の二乗和$S(a, b)$ の計算式は以下のようになります。

$S(a, b) = \sum_{i=1}^{n}e_i = \sum_{i=1}^{n} (y_i – a x_i – b)^2$

• $i$：各データ点の番号（1件目、2件目、…）
• $n$：データの総数（例：4件なら n = 4）
• $\sum_{i=1}^{n} e_i$：全データの残差の合計（予測値と実測値が完全に一致すれば0）

③　$ S(a, b) $ を $ a $ と $ b $ について偏微分し、0になる点を求めることで、最小値を計算します。

$ \frac{\partial S}{\partial a} = -2 \sum x_i (y_i – a x_i – b) = 0 $
$ \frac{\partial S}{\partial b} = -2 \sum (y_i – a x_i – b) = 0 $

④　上記の連立式を$a$と$b$について解くと、以下の2つの式が得られます。

$ a = \frac{\sum (x_i – \overline{x})(y_i – \overline{y})}{\sum (x_i – \overline{x})^2} = \frac{S_{xy}}{S_x} $
$ b = \overline{y} – a \overline{x} $

つまり、最小二乗法では、上記の計算式により回帰直線の傾き$a$と切片$b$を求めます。

回帰直線の計算例

それでは、先ほどの視聴者数を予測する回帰直線を手計算します。

① 特徴量（チャンネル登録者数：x）とターゲット変数（視聴者数：y）の平均値を求めます。

$ \overline{x} = \frac{150{,}000 + 120{,}000 + 100{,}000 + 80{,}000}{4} = 112{,}500 $
$ \overline{y} = \frac{4{,}000 + 3{,}100 + 2{,}500 + 1{,}700}{4} = 2{,}825 $

② 特徴量の分散$S_x$ と共分散 $ S_{xy} $の計算に必要な値を求めます。

③　上記の結果より、特徴量の分散$S_x$ と共分散 $ S_{xy} $は以下のようになります。

$ S_{xy} = \sum (x_i – \overline{x})(y_i – \overline{y})=44,062,500+2,062,500+4,062,500+36,562,500=86,750,000 $
$ S_{x} = \sum (x_i – \overline{x})^2 $ = 1,406,250,000+56,250,000+156,250,000+1,056,250,000 = 2,675,000,000 $

④　分散$S_x$ と共分散 $ S_{xy} $が求まれば、回帰直線の傾き$ a $ と切片 $ b $が求まります。

$ a = \frac{S_{xy}}{S_x} = \frac{86{,}750{,}000}{2{,}675{,}000{,}000} = 0.0324299065 $
$ b = \overline{y} – a \overline{x} = 2{,}825 – 0.0324299065 \times 112{,}500 = -823.364486 $

⑤　小数第4位で切り捨てすると、回帰直線の式は以下のように求まります。

$ y = 0.0324x – 823.3644 $

相関係数

相関係数とは

相関係数 $r$ は、2つの変数の関係の強さを表す指標です。単回帰分析では「特徴量」と「ターゲット変数」の関係の強さを確かめることができます。つまり、「そもそも登録者数と視聴者数に関係があるのか？」ということを確認ができます。相関係数 $r$の範囲は −1〜+1 で、以下のように関係性の傾向を知ることができます。

相関係数の計算式

相関係数 $r$ は以下の式で求められます：

$$ r = \frac{S_{xy}}{\sqrt{S_x \cdot S_y}} $$

• $S_{xy}$：登録者数と視聴者数の共分散
• $S_x$：登録者数の分散
• $S_y$：視聴者数の分散

相関係数の計算例

回帰直線の計算例と同じデータで相関係数を求めてみます。

① 回帰直線で既に求めた以下の値を使います。

• $S_{xy} = 86,750,000$
• $S_x = 2,675,000,000$
• $S_y = 1,827,500$（※視聴者数の分散）

② 相関係数を求める計算式に代入します。

$$ r = \frac{86,750,000}{\sqrt{2,675,000,000 \times 1,827,500}} \approx \frac{86,750,000}{2,211,000} \approx 0.9836 $$

③ 相関係数 $ r \approx 0.98 $ は非常に強い正の相関を示しており、登録者数が多いほど視聴者数も多い傾向があることがわかります。この場合、単回帰分析の見込みがありそうだと考えることができます。

訓練データに対する適合性

訓練データに対する適合性評価は、学習済みモデルが訓練用データにどれだけ合っているかを決定係数 $ R^2 $などの指標で評価することです。ただし、スコアが高すぎると、過学習の可能性もあるので注意が必要です。

決定係数

決定係数 $ R^2 $ は、回帰直線が実測値(訓練用データなど)にどれだけうまく沿っているかを示す指標です。決定係数$ R^2 $は 0〜1の範囲の値をとります。値が1に近いほど、実測値に近いと評価できます。

• $ R^2 = 1 $：すべての実測値が回帰直線上にあり、完全に再現できている。（理想的なモデル）
• $ R^2 \approx 0.8 $：実測値が回帰直線の付近にあり、高い予測精度がある。（実用的なモデル）
• $ R^2 = 0 $：実測値が回帰直線から大きく外れており、予測精度が低い。（不適なモデル）

決定係数の計算式

決定係数 $ R^2 $ は、以下の数式で計算できます。

$ R^2 = \frac{\text{SSR}}{\text{SST}} = 1 – \frac{\text{SSE}}{\text{SST}} $

※ $ \text{SST} = \text{SSR} + \text{SSE} $ の関係にあります。

決定係数の計算式は、「1 − 説明できなかった割合（残差平方和 ÷ 全体平方和）」、つまり「回帰直線が全体のばらつきのうち、何％を説明できたか」を表します。

• 回帰直線が実測値の散らばりにうまく沿っている → 説明力が高い（$ R^2 $ が大きい）
• 回帰直線が実測値にほとんど合っていない → 説明力が低い（$ R^2 $ が小さい）

また、決定係数を パーセンテージ表示したものを「寄与率」といいます。

$ \text{寄与率} = R^2 \times 100\% $

決定係数の計算例

それでは、先ほど手計算した回帰直線の決定係数を手計算します。

①　計算に必要な値を計算します。

②　残差平方和（SSE）を計算します。

$ \text{SSE} = 1,484.83 + 1,426.66 + 6,460.17 + 5,785.62 = 15,157.28 $

③　全体平方和（SST）を計算します。

$ \text{SST} = 1,380,625 + 75,625 + 105,625 + 1,265,625 = 2,827,500 $

④　よって、決定係数$ R^2 $ は以下のように計算できます。

$ R^2 = 1 – \frac{\text{SSE}}{\text{SST}} = 1 – \frac{15,157.28}{2,827,500} \approx 0.9946 $

回帰直線は 99.46% のばらつきを説明できているため、訓練データに対してうまくフィットしていることがわかります。

残差分析

残差分析は、学習済みモデル（回帰直線）の妥当性を評価するために、予測値と実測値の差（残差）を調べる手法です。
具体的には、求めた残差を使って「残差プロット」や「残差ヒストグラム」を作成して視覚的に確認したり、検定という統計的な手法を用いて数値的に確認したりします。残差分析でチェックする主なポイントは以下のとおりです。

【例】

例えば、上記だと、線形回帰モデルの前提（線形性・等分散性）をおおむね満たしているが、残差のばらつきが広く、一部の予測が大きく外れている（訓練データに大きな外れ値）が含まれている可能性があると判断できます。

【Scikit-learn】単回帰分析を行う方法

Pythonライブラリ「scikit-learn」で単回帰分析を行う方法についてサンプルコード付きで解説します。

python.joho.info

汎化性能の検証

汎化性能とは

汎化性能とは、学習済みモデルが未知のデータに対してどれだけ正確に予測できるかというものです。
つまり、「訓練データ」から作成した回帰直線が、訓練では未使用の新しいデータに対しても有効かどうかを確認します。汎化性能が低い場合は、「過学習対策」を検討する必要があります。

検証の流れ

1. 訓練では未使用の新しいデータで構成された「テストデータ」を作成します。
   • 例：作り方に決まりはありませんが、元のデータセットから80%を訓練用、20%をテスト用として使うことが多いです。注意点として、訓練用とテスト用は分ける必要があります。
2. 「学習済みモデル」に「テストデータ」を入力し、予測を行います。
   • 「テストデータ」の特徴量 $x_{\text{test}}$ を学習済みモデルに入力し、予測値 $\hat{y}_{\text{test}}$ を取得します。
3. 精度の評価します。
   • 実際の値 $y_{\text{test}}$ と予測値 $\hat{y}_{\text{test}}$ を比較し、誤差を計算します。
   • 誤差を使って、平均絶対誤差（MAE）、平均二乗誤差（MSE）、MSEの平方根（RMSE）、決定係数$R^2$などの指標を求め、性能を評価します。
   • 決定係数は訓練データに対してうまくフィットしているかだけでなく、テストデータに対してうまくフィットしているかの指標にも用いることができます。

平均絶対誤差（MAE）は以下の計算式で求めます。

$ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i – \hat{y}_i|　$

平均二乗誤差（MSE）は以下の計算式で求めます。

$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i – \hat{y}_i)^2　$

二乗平均平方根誤差（RMSE）は以下の計算式で求めます。

$ \text{RMSE} = \sqrt{\text{MSE}} = \sqrt{ \frac{1}{n} \sum_{i=1}^{n} (y_i – \hat{y}_i)^2 } $

決定係数$R^2$は以下の計算式で求めます。

$ R^2 = \frac{\text{SSR}}{\text{SST}} = 1 – \frac{\text{SSE}}{\text{SST}} $

※ $ \text{SST} = \text{SSR} + \text{SSE} $ の関係にあります。

K分割交差検証

交差検証（Cross Validation）は、モデルの汎化性能（未知データへの強さ）を評価するためのテスト方法の１つです。 データを複数の「訓練用」と「検証用」に分割して、モデルを何度も学習・評価することにより、評価の偏りを平均化し、信頼性を向上させます。先程の例では、訓練データとテストデータに分割して性能評価をしていますが、K分割交差検証（K-Fold Cross Validation）を使うことで、より安定した汎化性能の評価が可能になります。

交差検証のやり方はいくつかありますが、今回は代表的な方法である「K分割交差検証（K-Fold Cross Validation）」を行います。

1. データを K個のグループ（fold） に分割する
2. 各回で、K-1個を訓練用、残り1個を検証用としてモデルを学習・評価する
3. これを K回繰り返す（foldを順番に検証用にする）
4. 最終的に、K回の評価結果の平均を取る

例えば、K=5 の場合、以下のようになります。

1. データを5分割（Fold1〜Fold5）
2. 各回で1つのfoldを検証用、残り4つを訓練用に使う
3. 5回繰り返して、平均的な性能を評価

Pythonプログラミングによる実装例を以下ページで詳しく解説しています。

【Scikit-learn】単回帰分析を行う方法

Pythonライブラリ「scikit-learn」で単回帰分析を行う方法についてサンプルコード付きで解説します。

python.joho.info

予測の不確かさ

「信頼区間」と「予測区間」とは

単回帰分析では、ある特徴量$ x $ に対してターゲット変数 $ y $ を予測する回帰直線を求めますが、その予測値がどれくらい確かなものなのかを知ることが重要です。たとえば、登録者数が20万人のVTuberに対して「視聴者数は約5,656人」と予測できたとしても、

• その予測値はどれくらいの誤差を含んでいるのか？
• 実際の視聴者数はどの範囲に収まりそうか？
• モデルの予測は平均的にどれくらい信頼できるのか？

といった疑問が生じます。こうした予測の不確かさを定量的に評価するために、「信頼区間」や「予測区間」が用いられます。

「信頼区間」と「予測区間」の計算式

回帰直線 $ \hat{y} = ax + b $の「ある特徴量の値 $ x_0 $ 」に対する予測値 $ \hat{y}_0 $ に対して、信頼区間の範囲は以下の式で計算できます。

$$ \hat{y_0} \pm W_{CI} $$

$$ W_{CI} = t_{\alpha /2, n-2} \cdot s \cdot \sqrt{ \frac{1}{n} + \frac{(x_0 – \bar{x})^2}{\sum (x_i – \bar{x})^2} } $$

また、予測区間の範囲は以下の式で計算できます。

$$ \hat{y_0} \pm W_{PI} $$

$$ W_{PI} = t_{\alpha /2, n-2} \cdot s \cdot \sqrt{ 1 + \frac{1}{n} + \frac{(x_0 – \bar{x})^2}{\sum (x_i – \bar{x})^2} } $$

ここで、信頼区間と予測区間に関する重要なキーワードをいくつか解説します。

「信頼区間」と「予測区間」の計算例

上記で求めた視聴者数を予測する回帰直線の信頼区間と予測区間を求めます。

① 予測値を計算します。

$ \hat{y}_0 = 0.0324 \times 200,000 – 823.3644 = 6,480 – 823.3644 = 5,656.6356 $

②　信頼区間の誤差幅を以下の式で計算します。

$ W_{CI} = t \cdot s \cdot \sqrt{ \frac{1}{n} + \frac{(x_0 – \bar{x})^2}{\sum (x_i – \bar{x})^2} } = 4.303 \cdot 61.3 \cdot 1.763 \approx 466.2 $

• $ x_0 – \bar{x} = 87,500 $
• $ \frac{(x_0 – \bar{x})^2}{\sum (x_i – \bar{x})^2} = \frac{7.65625 \times 10^9}{2.675 \times 10^9} \approx 2.8617 $
• $ \frac{1}{n} = 0.25 $
• 合計：$ \sqrt{0.25 + 2.8617} \approx \sqrt{3.1117} \approx 1.763 $

③ 予測区間は「信頼区間の式」にさらに「+1」を加えた分だけ広くなります。

$ W_{PI} = t \cdot s \cdot \sqrt{ 1 + \frac{1}{n} + \frac{(x_0 – \bar{x})^2}{\sum (x_i – \bar{x})^2} } = 4.303 \cdot 61.3 \cdot 2.0278 \approx 535.6 $

• $ 1 + 0.25 + 2.8617 = 4.1117 $
• $ \sqrt{4.1117} \approx 2.0278 $

④ よって、「信頼区間」と「予測区間」は以下のとおりになります。

• $ \hat{y_0} – W_{CI} = 5,656.6 – 466.2 = 5,190.4 $
• $ \hat{y_0} + W_{CI} = 5,656.6 + 466.2 = 6,122.8 $
• $ \hat{y_0} – W_{PI} = 5,656.6 – 535.6 = 5,121.0 $
• $ \hat{y_0} + W_{PI} = 5,656.6 + 535.6 = 6,192.2 $

プログラミングによる実装方法

Pythonライブラリ「Scikit-learn」を用いた単回帰分析の実装方法について、以下ページで解説しています。

【Scikit-learn】単回帰分析を行う方法

Pythonライブラリ「scikit-learn」で単回帰分析を行う方法についてサンプルコード付きで解説します。

python.joho.info

まとめ

単回帰分析は、1つの特徴量（説明変数）から1つのターゲット変数（目的変数）を予測するための基本的な手法です。単回帰分析を行うときの基本的な流れは以下のとおりです。

1. 相関係数で関係性を確認
   • 単回帰分析を始める前に、特徴量$x$とターゲット変数$y$に強い関係があるかを確認します。
   • 相関係数$r$を計算し、非常に強い正の相関があれば、単回帰分析に適していると判断できます。
2. データの準備
   • 訓練データとして、特徴量$x$とターゲット変数$y$のペアを用意します。
3. 回帰直線の計算
   • 最小二乗法を用いて、傾き$a$と切片$b$を求め、回帰式$y = ax + b$を求めます。
4. 訓練データに対する適合性評価
   • 決定係数$R^2$を使って、回帰直線がどれだけ訓練データ(実測値)にフィットしているかを確認します。
5. *残差分析による学習済みモデルの評価🧪
   • 残差$e_i = y_i – \hat{y}_i$を計算し、以下の観点などから学習済みモデルの妥当性を確認します。
   • 残差プロット・ヒストグラムから残差がランダムに分布しているか視覚的に確認（非線形性・外れ値・分散不均一性の検出）
   • Shapiro-Wilk検定やQ-Qプロットで残差が正規分布に従うかを確認
6. 汎化性能の検証
   • テストデータに対して予測を行い、MAE・MSE・RMSE・$R^2$などの指標で精度を評価します。
7. 予測の不確かさの理解
   • 信頼区間と予測区間を用いて、予測値のばらつきや誤差の範囲を定量的に把握します。

ただし、以下の「前提条件」が整っていないと精度が悪くなります。

1. 変数同士の関係が直線的（線形）であること
   • たとえば、登録者数が2倍になったら視聴者数も2倍になるような相関関係があるかどうか
2. 誤差のばらつきが一定であること（等分散性）
   • 登録者数が少ない人と多い人で、予測の精度に差が出すぎていないか
   • 外れ値（極端に大きい or 小さい値）が訓練データに含まれていると、回帰直線が一部のデータに引っ張られて、全体的に過大・過小予測するようになる

関連ページ

以下のページでは、機械学習の様々な手法を理論的に学ぶことができます。

【機械学習のアルゴリズム超入門】原理からプログラミング実装例まで解説

機械学習のアルゴリズム（原理）やプログラミング方法について入門者向けにまとめました。

algorithm.joho.info

2024.07.06

以下のページでは、Pythonライブラリ「Scikit-learn」を用いた機械学習の実装方法を学ぶことができます。

【Scikit-learn超入門】使い方とPythonで機械学習を行うサンプルコードを解説

Pythonライブラリ「Scikit-learn」で機械学習を行う方法を解説します。

python.joho.info