[하버드] 확률론 기초: Statistics 110

학습목표

공분산의 특성을 이해하고 활용할 수 있다.

핵심 키워드

학습하기

학습내용

공분산(covariance)

정의) $C o v (X, Y) = E [(X - (E (X)) (Y - E (Y))]$

$= E (X Y) - E (X) E (Y)$

특성

$C o v (X, X) = V a r (X)$
$C o v (X, Y) = C o v (Y, X)$
$C o v (X, c) = 0$ (c는 상수)
$\cdot Cov(X,Y)$
$C o v (X, Y + Z) = C o v (X, Y) + C o v (X, Z)$
$C o v (X + Y, Z + W) = C o v (X, Z) + C o v (X, W) + C o v (Y, Z) + C o v (Y, W)$ $\Rightarrow Cov(\displaystyle \sum ^m _{i = 1} a_i X_i, \sum ^n _{j=1}b_jY_j) = \sum _{i, j} a_ib_jCov(X_i, Y_j)$
$Var(X_1+X_2) = Var(X_1)+Var(X_2) +2Cov(X_1,X_2)$ $\rightarrow Cov(X_1,X_2) =0$ 일 때( $X_1, X_2$ 는 독립), $Var(X_1+X_2) = Var(X_1)+Var(X_2)$

$\Rightarrow Var(X_1+...+X_n) = Var(X_1) +...+Var(X_n) +2 \displaystyle \sum _{i$

정리) $X, Y$ 가 독립일 때, $C o v (X, Y) = 0$

※ 역은 성립하지 않음.

반례) $\sim N(0,1)$ , $X = Z,$ $Z^2$ 이라 할 때,

$C o v (X, Y) = E (X Y) - E (X) E (Y)$

$E(Z^3) - E(Z)E(Z^2) = 0$

따라서, $X, Y$ 는 $C o v (X, Y) = 0$ 이지만 $Y$ 는 $X$ 에 대한 함수이므로 절대 독립이 아니다.

(→ 상관계수는 선형적 관계를 측량하는 계수이다)

상관(Correlation)

정의) $\displaystyle \frac{Cov(X, Y)}{sd(X)sd(Y)} = Cov(\frac{X-E(X)}{sd(X)}, \frac{Y-E(Y)}{sd(Y)})$

정리) $\le Cov(X, Y) \le 1$

증명) 표준화된 확률변수 $X, Y$ 가 있다고 하자. $\rho$ 이라 할 때,

$\rho$

$-\rho$

$\therefore -1 \le \rho \le 1$

ex) 다항분포

$(X_1, ..., X_k) \sim Mult(n, \vec p)$ 일 때, 모든 $i, j$ 에 대하여 $Cov(x_i, x_j)$ 는

i) $i = j$ 일 때, $Cov(X_i, X_i) = Var(X_i) = np_i(1-p_i)$

ii) $\ne j$ 일 때, $Cov(X_1, X_2) = c$ 라 하였을 때,

$Var(X_1+X_2) = np_1(1-p_1)+np_2(1-p_2) +2c$

$n(p_1+p_2)(1-(p_1+p_2))$

$\Rightarrow Cov(X_1, X_2) = -np_1p_2$

ex) 이항분포

$\sim Bin(n, p)$ $X_1+...+X_n$ $(X_i \sim^{iid} Bern(p))$

$Var(X_j) = E(X_j^2)-\{E(X)^2\}$

$p-p^2 = p(1-p) = pq$

$\Rightarrow Var(X) = npq$ $\because Cov(X_i, X_j) = 0)$

ex) 초기하분포

$\sim HyperGeo(w,b,n)$

$\rightarrow X = X_1+...+X_n$ $(X_j = 1$ j번째 공이 흰색인 경우. 아닌 경우 $0)$

$nVar(X_1)+2\displaystyle {n\choose 2} Cov(X_1,X_2)$

$Cov(X_1, X_2) = E(X_1X_2)- E(X_1)E(X_2)$

$\displaystyle \frac{w(w-1)}{(w+b)(w+b-1)}-( \frac{w}{w+b})^2$