確率変数の和と差 — 共分散と $V[X+Y]$ の導出

$$E[X+Y] = E[X] + E[Y]$$ これは期待値の線形性そのもので、無条件（独立でなくても）成立します。差についても同様に $E[X-Y]=E[X]-E[Y]$。期待値は、和も差もそのまま分けられます。

$$\mathrm{Cov}(X,Y) = E\big[(X-\mu_X)(Y-\mu_Y)\big]$$ $X$ も $Y$ も同時に中心より大きい（あるいは同時に小さい）ことが多ければ積はプラスに偏り、$\mathrm{Cov}>0$。片方が大きいとき他方が小さい傾向なら $\mathrm{Cov}<0$ になります。

$$ \begin{aligned} \mathrm{Cov}(X,Y) &= E\big[(X-\mu_X)(Y-\mu_Y)\big] &&\text{(定義)}\\[2pt] &= E\big[XY - \mu_Y X - \mu_X Y + \mu_X \mu_Y\big] &&\text{(積を展開)}\\[2pt] &= E[XY] - \mu_Y E[X] - \mu_X E[Y] + \mu_X \mu_Y &&\text{(線形性、} \mu_X,\mu_Y \text{ は定数)}\\[2pt] &= E[XY] - \mu_Y \mu_X - \mu_X \mu_Y + \mu_X \mu_Y &&\text{(} E[X]=\mu_X,\ E[Y]=\mu_Y \text{)}\\[2pt] &= E[XY] - \mu_X \mu_Y \\[2pt] &= E[XY] - E[X]\,E[Y] &&\text{(} \mu \text{ を戻す)} \end{aligned} $$

$$\mathrm{Cov}(X,Y) = E[XY] - E[X]\,E[Y]$$ 「積の期待値」から「期待値の積」を引く。分散の $V[X]=E[X^2]-(E[X])^2$ とそっくりな形ですね。実際、$Y=X$ とおくと $\mathrm{Cov}(X,X)=E[X^2]-(E[X])^2=V[X]$。分散は「自分自身との共分散」なのです。

$$ \begin{aligned} V[X+Y] &= E\big[\,(X+Y) - (\mu_X+\mu_Y)\,\big]^2 &&\text{(分散の定義)}\\[2pt] &= E\big[\,(X-\mu_X) + (Y-\mu_Y)\,\big]^2 &&\text{(偏差ごとにまとめる)}\\[2pt] &= E\big[(X-\mu_X)^2 + 2(X-\mu_X)(Y-\mu_Y) + (Y-\mu_Y)^2\big] &&\text{(和の2乗を展開)}\\[2pt] &= E\big[(X-\mu_X)^2\big] + 2\,E\big[(X-\mu_X)(Y-\mu_Y)\big] + E\big[(Y-\mu_Y)^2\big] &&\text{(線形性で分ける)}\\[2pt] &= V[X] + 2\,\mathrm{Cov}(X,Y) + V[Y] &&\text{(各項を定義で読み替え)} \end{aligned} $$

$$V[X+Y] = V[X] + V[Y] + 2\,\mathrm{Cov}(X,Y)$$ 和の分散は、それぞれの分散の和に共分散の $2$倍が加わります。期待値の和とちがって、$2$つの変数の連動具合（$\mathrm{Cov}$）を無視できないのです。真ん中の交差項 $2(X-\mu_X)(Y-\mu_Y)$ が、まさに共分散の正体でした。

$$V[X-Y] = V[X] + V[Y] - 2\,\mathrm{Cov}(X,Y)$$ ここで大事なのは、$V[X]$ と $V[Y]$ はどちらも＋のままだということ。引き算になったのは共分散の項だけ。$V[-Y]=(-1)^2V[Y]=V[Y]$（2-5b の $V[aX]=a^2V[X]$）なので、$Y$ の分散は引いても消えず、足されます。

独立の定義（離散型）：すべての $i,j$ で $$p_{ij} = P(X=x_i,\,Y=y_j) = P(X=x_i)\,P(Y=y_j) = p_i\, q_j$$ ここで $p_i=P(X=x_i)$、$q_j=P(Y=y_j)$ は、それぞれの周辺確率です。

$$ \begin{aligned} E[XY] &= \sum_{i}\sum_{j} x_i y_j\, p_{ij} &&\text{(同時分布で定義)}\\[2pt] &= \sum_{i}\sum_{j} x_i y_j\, p_i q_j &&\text{(独立性 } p_{ij}=p_i q_j \text{ を代入)}\\[2pt] &= \Big(\sum_{i} x_i p_i\Big)\Big(\sum_{j} y_j q_j\Big) &&\text{(} i \text{ と } j \text{ の和を分離)}\\[2pt] &= E[X]\,E[Y] &&\text{(それぞれ期待値の定義)} \end{aligned} $$

$X,Y$ が独立なら $E[XY]=E[X]E[Y]$ なので、 $$\mathrm{Cov}(X,Y) = E[XY] - E[X]E[Y] = 0$$ 共分散がゼロになります。すると和・差の分散の交差項が消えて、 $$V[X+Y] = V[X-Y] = V[X] + V[Y]$$ 和でも差でも、分散はただの足し算になります。

「差なのに分散は足す」──ここが最大の注意点です。直感では「引いたら分散も引く?」と思いがちですが、ばらつきは符号に関係なく積み重なるもの。$Y$ を引こうが足そうが、$Y$ 自身の散らばりは $X$ の散らばりに上乗せされます。$V[-Y]=V[Y]$ だったことを思い出せば納得です。なお、独立なら共分散は $0$ ですが、逆は必ずしも成り立ちません（共分散 $0$ でも独立とは限らない）。これも2級の頻出ポイントです。