変動の分解・決定係数・残差プロット

3つの変動（いずれも偏差平方和）： $$ \begin{aligned} S_{yy} = \text{SST} &= \sum_{i=1}^{n}(y_i-\bar{y})^2 &&\text{(全変動)}\\[2pt] \text{SSR} &= \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 &&\text{(回帰による変動)}\\[2pt] \text{SSE} &= \sum_{i=1}^{n}(y_i-\hat{y}_i)^2 &&\text{(残差変動)} \end{aligned} $$ SSR は regression（回帰）、SSE は error（誤差・残差）の頭文字です。

全変動の各項 $y_i-\bar{y}$ を「残差 ＋ 回帰分」に分けて二乗します。 $$ \begin{aligned} \text{SST} &= \sum_{i=1}^{n}(y_i-\bar{y})^2 \\[2pt] &= \sum_{i=1}^{n}\bigl[(y_i-\hat{y}_i) + (\hat{y}_i-\bar{y})\bigr]^2 &&\text{(} \bar{y} \text{ を引いて足す＝} \hat{y}_i \text{ を挟む)}\\[2pt] &= \sum_{i=1}^{n}(y_i-\hat{y}_i)^2 + \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 + 2\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y}) &&\text{(} (p+q)^2 \text{ を展開)}\\[2pt] &= \text{SSE} + \text{SSR} + 2\underbrace{\sum_{i=1}^{n}(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})}_{\text{これが } 0 \text{ になる}} &&\text{(各和を記号に置換)} \end{aligned} $$

$$ \begin{aligned} \sum_{i=1}^{n} e_i(\hat{y}_i-\bar{y}) &= \sum_{i=1}^{n} e_i\,\hat{\beta}(x_i-\bar{x}) &&\bigl(\hat{y}_i-\bar{y}=\hat{\beta}(x_i-\bar{x})\bigr)\\[2pt] &= \hat{\beta}\sum_{i=1}^{n} e_i(x_i-\bar{x}) &&\text{(定数 } \hat{\beta} \text{ を外へ)}\\[2pt] &= \hat{\beta}\Bigl(\sum_{i=1}^{n} e_i x_i - \bar{x}\sum_{i=1}^{n} e_i\Bigr) &&\text{(カッコを分配)}\\[2pt] &= \hat{\beta}\,(0 - \bar{x}\cdot 0) = 0 &&\text{(正規方程式より下記2つが } 0\text{)} \end{aligned} $$

最後の2つの和は、5-1 の正規方程式そのものです。$a$ の式 $\sum(y_i-\hat{y}_i)=0$ は残差の合計が $0$（$\sum e_i = 0$）、$b$ の式 $\sum x_i(y_i-\hat{y}_i)=0$ は残差と $x$ の積和が $0$（$\sum e_i x_i = 0$）を意味します。この2つがそろうからクロス項が消える。つまり変動がきれいに分解できるのは、最小二乗法で直線を引いたおかげなのです。

変動の分解（平方和分解） $$\sum_{i=1}^{n}(y_i-\bar{y})^2 = \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 + \sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$ すなわち $\;\text{SST} = \text{SSR} + \text{SSE}\;$。全変動が「回帰で説明できた変動」と「残差変動」の和に分かれます。

$$R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}$$ 2つ目の等号は、$\text{SSR}=\text{SST}-\text{SSE}$ を代入しただけです。$0 \le R^2 \le 1$ で、$1$ に近いほど当てはまりが良い（残差が小さい）ことを表します。

$\hat{y}_i-\bar{y}=\hat{\beta}(x_i-\bar{x})$ より SSR を変形し、$\hat{\beta}=\dfrac{S_{xy}}{S_{xx}}$ を代入します。 $$ \begin{aligned} \text{SSR} &= \sum_{i=1}^{n}(\hat{y}_i-\bar{y})^2 = \hat{\beta}^2\sum_{i=1}^{n}(x_i-\bar{x})^2 = \hat{\beta}^2\,S_{xx} &&\text{(} \hat{\beta} \text{ を外に出す)}\\[2pt] &= \left(\frac{S_{xy}}{S_{xx}}\right)^2 S_{xx} = \frac{S_{xy}^2}{S_{xx}} &&\bigl(\hat{\beta}=S_{xy}/S_{xx}\bigr) \end{aligned} $$ これを $R^2=\dfrac{\text{SSR}}{\text{SST}}$ に入れます（$\text{SST}=S_{yy}$）。 $$R^2 = \frac{S_{xy}^2 / S_{xx}}{S_{yy}} = \frac{S_{xy}^2}{S_{xx}\,S_{yy}} = \left(\frac{S_{xy}}{\sqrt{S_{xx}\,S_{yy}}}\right)^2 = r^2$$ 最後の等号は、相関係数 $r=\dfrac{S_{xy}}{\sqrt{S_{xx}\,S_{yy}}}$（1-9 の定義、$n-1$ は約分済み）そのものです。

残差プロットの代表的な要注意パターンは2つ。弓なりの曲線が見えたら、本当の関係は直線でなく曲線（2次など）かもしれません──直線モデルが不適のサインです。ラッパ型（右に行くほど縦に広がる）が見えたら、$x$ が大きいほどばらつきが大きいということで、回帰の前提「誤差の分散は一定」が崩れています（不等分散）。これは 5-3 の係数の検定の前提にも関わる大事なチェックです。$R^2$ が高くても、残差にパターンがあればモデルを見直しましょう。