정규분포 관련 성질

정규분포 관련 성질 -> 더 자세한 내용은 [PDF] 다운로드.


표준정규분포의 pdf를 $\phi(x)$로 놓고 스케일링한 것을 $\phi_{\sigma}(x) = \phi(x/\sigma)/\sigma$라고 표기하면 편리하다. 이때 $N(\mu,\sigma^2)$의 pdf를 $\phi_\sigma(x-\mu)$로 쓸 수 있다.

표준정규분포 $\phi$의 도함수들은 $\phi$를 이용하여 표현할 수가 있다. 이 관계를 이용하면 미분 계산을 쉽게할 수 있다.
\begin{align}
\phi'(x) &= -x \phi(x)\\
\phi''(x) &= (x^2-1)\phi(x)
\end{align}

Convolution의 성질을 이용하면 복잡한 계산들을 매우 간단하게 할 수 있다. 우선 convolution은 다음과 같이 정의된다.
\[
(f*g)(x) = \int f(x-y) g(y) dy
\]
정규분포의 pdf에서 다음과 같은 성질을 확인할 수 있다.
\begin{align}
(\phi_{\sigma_1}*\phi_{\sigma_2})(x) = \phi_{\sqrt{\sigma_1^2+\sigma_2^2}}(x)
\end{align}
이 성질을 이용하여 $\int \phi^2(x) dx$, $\int \phi_{\sigma_1}(x)\phi_{\sigma_2}(x) dx$ 등을 쉽게 계산할 수 있다.

다변량 정규분포

다변량 정규분포(multivariate normal)

다차원 확률변수 \(X=(X_1,\cdots, X_k)'\)가 평균 벡터 \(EX = \mu\), 공분산 행렬 \(\text{Var}(X)= \Sigma\)인 다변량 정규분포를 따르는 것을 \(X \sim N(\mu, \Sigma) \)로 표기한다. 책에서는 보통 벡터와 행렬을 굵은 글씨체로 표시하기는 하지만...

다변량 정규분포에서 평균 벡터 \(\mu=(\mu_1,\cdots,\mu_k)'\)는 각각의 평균이다. 즉, \(E X_i = \mu_i\)이다. 그리고 공분산 행렬은 \(\Sigma = (\Sigma_{ij}), \; \Sigma_{ij}=\text{Cov}(X_i,X_j)\)이다.

\(x=(x_1,\cdots,x_k)'\), \(t = (t_1,\cdots,t_k)'\)라고 할 때 $k$차원 다변량 정규분포의 pdf, mgf, cgf는 다음과 같다. \begin{align*} \text{pdf}\quad f(x) &= (2\pi)^{-k/2} |\Sigma|^{-1/2} \exp \left\{ -\frac{1}{2} (x-\mu)'\Sigma(x-\mu) \right\}\\ \text{mgf}\quad M(t) &= \exp\left\{ t'\mu + \frac{1}{2}t'\Sigma t\right\}\\ \text{cgf}\quad C(t) &= t'\mu + \frac{1}{2}t'\Sigma t \end{align*}

다차원 확률변수의 결합적률생성함수

다차원 확률변수의 결합적률생성함수(joint mgf)

다차원 확률변수 \(X = (X_1, X_2, \cdots, X_k)'\)가 있고 \(t=(t_1,t_2,\cdots,t_k)'\)라고 하자. 이때 \[ M(t) = M(t_1,\cdots,t_k) = E[e^{t_1 X_1 + \cdots + t_k X_k}] = E[e^{t'X}], \quad -h_i < t_i < h_i, (\exists h_i >0)(i=1,\cdots,k) \] 를 \(X=(X_1,\cdots,X_k)'\)의 결합적률생성함수(joint mgf)라고 한다. 그리고 \[ C(t) = C(t_1,\cdots, t_k) = \log M(t_1,\cdots, t_k) \] 를 결합누율생성함수(joint cgf)라고 한다.

\(C(t)\)의 일차 편도함수 벡터를 \(\dot C(t)\), 이차 편도함수 행렬을 \(\ddot C(t)\)라고 하자. \(\dot C(t)\)는 \[ \dot C(t) = \left(\frac{\partial}{\partial t_1}C(t), \cdots, \frac{\partial}{\partial t_k} C(t) \right)' \] 이다. 이것을 기울기 벡터(gradient vector)라고 한다. \(\ddot C(t)\)는 \[ \ddot C(t) = \begin{pmatrix} \frac{\partial^2}{\partial t_1^2} C(t) & \frac{\partial^2}{\partial t_1 \partial t_2} C(t) & \cdots & \frac{\partial^2}{\partial t_1 \partial t_k} C(t)\\ \frac{\partial^2}{\partial t_2\partial t_1} C(t) & \frac{\partial^2}{\partial t_2^2} C(t) & \cdots & \frac{\partial^2}{\partial t_2 \partial t_k} C(t)\\ \vdots & \vdots&\ddots & \vdots\\ \frac{\partial^2}{\partial t_k \partial t_1} C(t) & \frac{\partial^2}{\partial t_k \partial t_2} C(t) & \cdots & \frac{\partial^2}{\partial t_k^2} C(t)\\ \end{pmatrix} \] 이다. 이것을 헤시안 행렬(Hessian matrix)라고 한다.

결합누율생성함수를 이용하여 평균 벡터와 분산 행렬을 구할 수 있다. \[ E(X) = \dot C(t), \qquad \text{Var}(X) = \ddot C(0) \] 이다.

지수족과 완전통계량

지수족(exponential family)과 완전통계량(complete statistics)

지수족

우선 모수가 하나인 경우만 생각해 보면 지수족은 pdf가 \[ f(x|\theta) = h(x)c(\theta)\exp(\eta(\theta)t(x)) \] 의 형태로 나타낼 수 있는 분포를 말한다. 모수가 여러 개인 경우, 즉, 모수가 \(\theta=(\theta_1,\cdots,\theta_k)\)인 경우로 일반화하면 pdf를 \[ f(x|\theta) = h(x)c(\theta)\exp\left(\sum_{j=1}^k \eta_j(\theta)t_j(x)\right) \] 로 나타낼 수 있는 분포이다. 지수족에는 정규분포, 지수분포, 감마분포, 카이제곱분포, 베타분포, 디리클레분포, 베르누이분포, 다항분포, 포아송분포 등이 속한다.

이항분포

이항분포의 pdf는 \begin{align*} f(x|n,p) &= \binom{n}{x}p^x(1-p)^{n-x}\\ &= \binom{n}{x}\exp\left(n\log(1-p)\right)\exp\left(x\log\frac{p}{1-p}\right) \end{align*} 로 나타낼 수 있다. 여기에서 \(\eta = \log\frac{p}{1-p}\)에 해당하는 것을 알 수 있다. 이것이 이항분포의 자연모수(natural parameter)이다. 즉, 이항분포의 자연모수는 로짓(logit)이다.

포아송분포

포아송분포의 pdf는 \[ f(x|\lambda) = e^{-\lambda}\frac{\lambda^x}{x!} = \frac{1}{x!}e^{-\lambda}\exp(x\log\lambda) \] 로 나타낼 수 있다. 여기에서 \(\eta=\log\lambda\)가 포아송분포의 자연모수이다.

정규분포

정규분포의 pdf는 \begin{align*} f(x|\mu,\sigma^2) &= (2\pi\sigma^2)^{-1/2}\exp(-(x-\mu)^2/2\sigma^2)\\ &= (2\pi)^{-1/2} \sigma^{-1}\exp(\mu^2/2\sigma^2) \exp\left(-\frac{1}{2\sigma^2}x^2 + \frac{\mu}{\sigma^2}x\right) \end{align*} 와 같이 나타낼 수 있다. \(\eta = (\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2})\)이다. \(\sigma\)가 알려진 경우에는 \(\eta =\mu\)가 된다.

일반화선형모형에서 연결함수

참고로, 일반화선형모형(GLM)에서 반응변수가 이항분포일 때 로지스틱 회귀(logistic regression)하면서 연결함수(link function)으로 로짓 함수를 쓴다. 이렇게 자연모수를 연결함수로 쓸 때 정준연결함수(canonical link function)라고 한다. 반응변수가 포아송분포일 때에는 연결함수로 로그 함수를 쓴다. 이것을 로그선형(log-linear) 모형이라고 한다. 이것을 포아송 회귀(Poisson regression)이라고 부르기도 한다. 반응변수가 정규분포일 때는 연결함수로 항등함수를 사용한다.

지수족에서 완전통계량

랜덤샘플 \(X= (X_1,\cdots,X_n)\)가 지수족에 속하는 분포에서 얻어진 것일 때, 즉 pdf가 \[ f(x|\theta) = h(x)c(\theta)\exp\left(\sum_{j=1}^k \eta_j(\theta)t_j(x)\right) \] 일 때 joint pdf는 \[ f_{X_1,\cdots,X_n}(x_1,\cdots,x_n|\theta) = \left\{\prod_{i=1}^n h(x)\right\} \left\{c(\theta)\right\}^n \exp\left( \sum_{j=1}^k \left\{\eta_j(\theta) \sum_{i=1}^n t_j(x_i)\right\}\right) \] 가 되고 \[ T(X) = \left(\sum_{i=1}^n t_1(X_i), \cdots, \sum_{i=1}^n t_k(X_i)\right) \] 는 완전통계량(complete statistic)이다. 이때, 모수공간 \(\Theta\)가 \(R^k\)에서 열린집합을 포함한다는 조건에서 그렇다.

정규분포의 적률

정규분포의 적률

\(r\)차 적률을 \(m_r = EX^r\)라고 하면 \[ \begin{matrix} & \text{``standard''} & \text{``centeralized''} &\\ & N(0,1) & N(0,\sigma^2) & N(\mu, \sigma^2)\\ m_1 & 0 & 0 & \mu\\ m_2 & 1 & \sigma^2 & \mu^2 + \sigma^2 \\ m_3 & 0 & 0 & \mu^3 + 3\mu\sigma^2\\\ m_4 & 3 & 3\sigma^4 & \mu^4 + 6\mu^2\sigma^2 + 3\sigma^4\\ \end{matrix} \] 세 분포 사이의 관계는 \[ X \sim N(\mu, \sigma^2), \quad Y = X - \mu \sim N(0, \sigma^2), \quad Z = \frac{X-\mu}{\sigma} \sim N(0,1) \] 이다. \(Y\)는 \(X\)를 중심화한 것이고 \(Z\)는 \(X\)를 표준화한 것이다. 다르게는 이들의 관계를 \[ Z \sim N(0,1), \quad Y = \sigma Z \sim N(0, \sigma^2), \quad X = \mu + \sigma Z \sim N(\mu, \sigma^2) \] 라고 할 수도 있다.

표준정규분포의 적률이 \[ EZ = 0, \quad EZ^2 = 1, \quad EZ^3 = 0, \quad EZ^4 = 3 \] 이라는 사실을 알고 있으면 일반적인 정규분포의 적률을 쉽게 알 수 있다. \(EX\)는 다음처럼 기대 \(E(\cdot)\)의 성질을 이용하여 쉽게 얻을 수 있다. \[ EX = E(\mu + \sigma Z) = \mu + \sigma EZ = \mu \] 2차 적률: \begin{align*} EX^2 &= E[(\mu+\sigma Z)^2] \\ &= E[\mu^2 + 2\mu\sigma Z + \sigma^2 Z^2] \\ &= \mu^2 + 2\mu\sigma EZ + \sigma^2 EZ^2\\ &= \mu^2 + \sigma^2 \end{align*} 3차 적률: \begin{align*} EX^3 &= E[(\mu+\sigma Z)^3] \\ &= E[\mu^3 + 3\mu^2\sigma Z + 3\mu\sigma^2 Z^2 + \sigma^3 Z^3] \\ &= \mu^3 + 3\mu^2\sigma EZ + 3\mu\sigma^2 E Z^2 + \sigma^3 E Z^3 \\ &= \mu^3 + 3\mu\sigma^2 \end{align*} 4차 적률: \begin{align*} EX^4 &= E[(\mu+\sigma Z)^4] \\ &= E[\mu^4 + 4\mu^3\sigma Z + 6\mu^2\sigma^2 Z^2 + 4\mu\sigma^3 Z^3 + \sigma^4 Z^4] \\ &= \mu^4 + 4\mu^3\sigma EZ + 6\mu^2\sigma^2 E Z^2+ 4\mu\sigma^3 EZ^3 + \sigma^4 E Z^4 \\ &= \mu^4 + 6\mu^2\sigma^2 + 3\sigma^4 \end{align*}

감마 함수

정의

감마 함수(gamma function)는 계승(factorial) 함수를 실수로 확장한 것이다. 복소수까지도 확장하지만 여기서는 양의 실수인 경우만 살펴보자. 양의 정수 \(n\)이 있을 때 \(n\)의 계승 \(n!\)은 \[ n! = n(n-1)(n-2) \cdots3\cdot2\cdot1 = \prod_{k=1}^n k \] 로 정의된다. 감마 함수는 이것을 실수로 확장한 것이다. 양의 실수 \(\alpha>0\)에 대해 감마 함수 \(\Gamma(\alpha)\)는 \[ \Gamma(\alpha) = \int_{0}^\infty t^{\alpha-1}e^{-t}dt \] 로 정의된다.

성질

감마 함수는 계승의 확장이므로 \(\alpha\)가 양의 정수인 경우에 적분을 해보면 당연히 계승의 형태가 된다. 즉, 양의 정수 \(n\)에 대해 \[ \Gamma(n) = (n-1)! \] 과 같은 등식이 성립한다. 감마함수가 가지는 성질 중 유용한 것으로는

• \(\Gamma(\alpha + 1) = \alpha \Gamma(\alpha)\)
• \(\Gamma(1) = 1\)
• \(\Gamma(1/2) = \sqrt{\pi}\)

이 있다.

예제

감마 함수를 알고 있으면 다항식과 지수함수의 곱으로 이루어진 적분을 부분 적분법을 쓰지 않고도 간단하게 계산할 수 있다. 예를 들어 \[ \int_0^\infty (x^2 + 3x + 5)e^{-x} dx \] 를 계산해야 하는 경우 \[ = \int_0^\infty x^2 e^{-x}dx + 3 \int_0^\infty x e^{-x}dx + 5\int_0^\infty e^{-x}dx \] 로 나누어 쓰면 각 항을 감마 함수로 나타낼 수 있게 된다. 즉, \[ = \Gamma(3) + 3\Gamma(2) + 5\Gamma(1) = 2! + 3\times 1! + 5 = 10 \] 으로 간편하게 계산할 수 있다.

예제

치환을 한 후에 감마 함수로 표현할 수 있는 경우도 존재한다. \[ \int_0^\infty x^2e^{-x^2} dx \] 과 같은 형태인 경우 \(t=x^2\)으로 치환하면 \(x=\sqrt{t}\)이므로 \[ = \int_0^\infty t e^{-t} \frac{1}{2\sqrt{t}}dt = \frac{1}{2}\int_0^\infty t^{1/2}e^{-t}dt \] 로 정리가 되고 감마 함수로 표현하면 \[ = \frac{1}{2} \Gamma\left(\frac{3}{2}\right) = \frac{\sqrt{\pi}}{4} \] 가 된다. 여기서 감마 함수의 성질을 이용하며 \[ \Gamma\left(\frac{3}{2}\right) = \frac{1}{2} \Gamma\left(\frac{1}{2}\right) = \frac{\sqrt{\pi}}{2} \] 임을 알 수 있다.

표준정규분포

표준정규분포의 pdf는 \[ \phi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} \] 이다. pdf의 성질에 따라 \[ \int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx = 1 \] 임을 알고 있다. 실제로 적분을 하기 위하여 \(x=0\)을 중심으로 대칭이라는 사실을 이용하고 \(t=x^2/2\)로 치환하면 \(x=\sqrt{2t}\)이고 \[ = 2\int_0^\infty e^{-x^2/2} dx = 2 \int_0^\infty \frac{1}{\sqrt{2\pi}} e^{-t} \frac{1}{\sqrt{2t}} dt \] 이다. 정리하고 감마 함수로 표현하면 \[ = \frac{2}{\sqrt{2\pi}} \frac{1}{\sqrt{2}} \int_0^\infty t^{-1/2} e^{-t} dt = \frac{1}{\sqrt{\pi}} \Gamma(1/2) = 1 \] 임을 보일 수 있다.

\(\Gamma(1/2) = \sqrt{\pi}\)

사실 이것은 무엇인가를 제대로 보인 것은 아니다. 어떻게 \(\Gamma(1/2)=\sqrt{\pi}\)인 것을 아는가? 사실 \[ \Gamma(1/2) = \int_0^\infty t^{-1/2}e^{-t}dt \] 를 계산하는 문제와 \[ \int_0^\infty e^{-x^2/2}dx \] 를 계산하는 문제는 동일한 문제이다. 후자를 계산해 보자. 약간의 트릭이 필요하다. 전체를 제곱한 것이 다음처럼 정리된다는 사실을 이용하자. \[ \left(\int_0^\infty e^{-x^2/2}dx\right)^2 = \left(\int_0^\infty e^{-u^2/2}du\right) \left(\int_0^\infty e^{-v^2/2}dv\right) = \int_0^\infty \int_0^\infty e^{-(u^2 + v^2)/2}dudv \] 삼각함수를 이용하려는 것이다. \((u, v)\)를 극좌표계로 변환해 보자. \(u\), \(v\) 둘 다 양수이므로 1사분면의 점이고 \[ u = r \cos \theta, \; v = r\sin \theta, \qquad r >0, \; 0 < \theta < \pi/2 \] 로 변환하면 된다. \(u^2+v^2=r^2\)이고 야코비 행렬식이 \[ J = \det \frac{\partial(u,v)}{\partial(r,\theta)} = \begin{vmatrix} \frac{\partial u}{\partial r} & \frac{\partial u}{\partial \theta}\\ \frac{\partial v}{\partial r} & \frac{\partial v}{\partial \theta}\\ \end{vmatrix} = \begin{vmatrix} \cos\theta & -r\sin\theta\\ \sin\theta & r\cos\theta \end{vmatrix} = r \] 이므로 \(dudv = rd\theta dr\)이다. 따라서 \[ = \int_0^\infty \int_0^{\frac{\pi}{2}} r e^{-r^2/2} d\theta dr = \frac{\pi}{2} \int_0^\infty r e^{-r^2/2} dr = \frac{\pi}{2} \] 이다. 따라서 \[ \int_0^\infty e^{-x^2/2}dx = \sqrt{\frac{\pi}{2}} \] 이다. 이것으로 \[ \Gamma(1/2) = \sqrt{\pi} \] 라는 것도 계산할 수 있다.

음이항 분포

음이항 분포(negative binomial distribution)는 성공률이 \(p\)인 베르누이 시행을 반복할 때 \(r\)번째 성공이 나올 때까지 시행 중 실패의 수의 분포이다. 실패의 수를 확률변수 \(X\)라고 하면 pmf는 \[ f_X(x) = P(X=x) = \binom{r+x-1}{x}p^r(1-p)^{x}, \quad x=0,1,\cdots \] 이다. 성공 \(r\)번, 실패 \(x\)번이므로 총 \(r+x\)번 시행하였고 마지막 시행이 성공일 때 실험이 끝나는 것으므로 가능한 조합의 수는 \(r+x-1\)개 중 \(x\)개를 고르는 수와 같다.

음이항 분포라는 이름이 붙은 이유

\(r>0\), \(0< p <1\), \(q=1-p\)이라고 하면 일반화된 이항정리에 따라 \[ 1 = p^r p^{-r} = p^r(1-q)^{-r} = p^r\sum_{k=0}^\infty \binom{-r}{k}(-q)^k \] 이 성립함을 알 수 있다. 여기에서 \[ p^{-r} = \sum_{k=0}^\infty (-1)^k \binom{-r}{k}q^k = \sum_{k=0}^\infty (-1)^k \binom{-r}{k}(1-p)^k \] 임을 알 수 있다. 여기에서 음이항 표기의 정의에 따르면 \[ (-1)^k\binom{-r}{k} = \binom{r+k-1}{k} \] 이 성립함을 알고 있으므로 \[ p^{-r} = \sum_{k=0}^\infty \binom{r+k-1}{k}(1-p)^k \] 라고 바꾸어 쓸 수 있다. 따라서 \[ \sum_{k=0}^\infty \binom{r+k-1}{k}(1-p)^k p^{r} = 1 \] 이 성립한다는 것을 알 수 있다. 따라서 \[ f(x) = \binom{r+x-1}{x} (1-p)^x p^r, \quad r \in\mathbb{Z},\, 0 < p < 1 \] 이 pdf(pmf)임을 알 수 있고 이것이 바로 음이항 분포의 pmf이다.

일반화된 이항정리

이항정리(Binomial Theorem) \[ (x+y)^n = \sum_{k=0}^n \binom{n}{k} x^k y^{n-k} \]

일반화된 이항정리 (Generaliazed Binomial Theorem) \[ (1+ x)^{\alpha} = \sum_{k=0}^\infty \binom{\alpha}{k} x^k, \quad \alpha \in \mathbb{R}, -1 < x < 1 \] 이때 \[ \binom{\alpha}{k} = \frac{\alpha(\alpha-1)\cdots(\alpha-k+1)}{k!} \] 로 정의한다. 이 식에서 \(\alpha\)가 자연수이면 이항정리와 동일하게 된다.

테일러 급수와 관계

실수 \(\alpha\)에 대해 함수 \( f(x)=(1+x)^\alpha,\; -1 < x < 1 \)의 \(x=0\)에서의 테일러 급수 전개를 하면 \[ (1+x)^\alpha = f(0) + \frac{f'(0)}{1!}x + \frac{f''(0)}{2!}x^2 + \frac{f'''(0)}{3!}x^3 + \cdots \] 인데, 이때 \(f(x)\)를 \(k\)번 미분한 \(f^{(k)}(x)\)는 \[ f^{(k)}(x) = \alpha(\alpha-1)\cdots(\alpha-k+1)(1+x)^{\alpha-k} \] 가 된다. \(f(0)=1\)이고 \(f^{(k)}(0) = \alpha(\alpha-1)\cdots(\alpha-k+1)\)이다. 이것을 집어넣으면 \[ (1+x)^\alpha = 1 + \frac{\alpha}{1!}x + \frac{\alpha(\alpha-1)}{2!}x^2 + \frac{\alpha(\alpha-1)(\alpha-2)}{3!}x^3 + \cdots = \sum_{k=0}^\infty \binom{\alpha}{k}x^k \] 이다.

음이항

일반화된 이항정리의 특수한 경우의 하나로 음이항(negative binomial)을 생각할 수 있다. 실수 \(\alpha\) 대신 자연수 \(n\)으로 한정하면 음이항은 \[ \binom{-n}{k} = \frac{(-n)(-n-1)\cdots (-n-k_1)}{k!} \] 으로 정의되고 \[ \frac{(-n)(-n-1)\cdots (-n-k+1)}{k!} = (-1)^k \frac{n(n+1)\cdots (n+k-1)}{k!} = (-1)^k\binom{n+k-1}{k} \] 와 같은 등식이 성립한다.

감마함수를 이용한 표현

\(\alpha > 0 \)인 경우에 \[ (1-x)^\alpha = \sum_{k=0}^\infty \binom{-\alpha}{k}(-x)^k = \sum_{k=0}^\infty \binom{\alpha+k-1}{k}x^k = \sum_{k=0}^\infty = \frac{\Gamma(k+\alpha)}{k!\Gamma(\alpha)} x^k \] 이 성립한다. 감마함수의 성질에 따라 \[ \Gamma(\alpha + k) = (\alpha+k-1) (\alpha+k-2) \cdots (\alpha+2)(\alpha+1)\alpha \Gamma(\alpha) \] 이기 때문이다.

초기하분포와 이항분포

베르누이 분포

베르누이 시행(Bernoulli trial)은 결과가 두 가지만 랜덤하게 나오는 실험을 말한다. 동전을 던져서 앞면이 나오는가 뒷면이 나오는가 관찰하는 시험 같은 것이 해당된다. 일반적으로 결과를 성공, 실패라 한다. 베르누이 확률변수 \(X\)는 성공이면 \(X=1\), 실패이면 \(X=0\)인 확률변수이다. 성공 확률이 \(p\)라고 할 때 베르누이 확률변수의 분포는 \[ P(X=1) = p, \quad P(X=0) = 1-p \] 가 된다. 굳이 하나로 쓰겠다면 \[ P(X=x) = p^x(1-p)^{1-x}, \quad x=0, 1 \] 라고 쓸 수 있다. 확률변수 \(X\)가 성공률 \(p\)인 베르누이 확률분포를 따르는 경우 \[ X \sim Ber(p) \] 라고 나타내자.

이항분포

이항분포(binomial distribution)는 베르누이 시행을 \(n\)번 반복했을 때 성공의 횟수이다. 성공 확률이 \(p\)라고 하면 성공의 횟수 \(X=x\)일 확률은 \[ P(X=x) = \binom{n}{x}p^x (1-p)^{n-x} \] 이다. 이것을 베르누이 확률변수의 합으로도 이야기할 수 있다. 베르누이 확률변수는 성공이면 1, 실패이면 0이므로 베르누이 확률변수들의 합이란 결국 성공의 횟수와 동일하다. 서로 독립이고 성공 확률이 \(p\)인 베르누이 확률 변수의 열 \(X_1, X_2, \cdots, X_n\)이 있을 때 이것들의 합을 생각할 수 있다. \[ X = \sum_{i=1}^n X_i, \quad X_i \stackrel{iid}{\sim} Ber(p) \] 이때 \(X\) 또한 확률변수이다. 그리고 \(X\)의 분포가 바로 이항분포이다. 시행 횟수 \(n\), 성공 확률 \(p\)일 때 성공 횟수 \(X\)의 분포를 간단히 \[ X \sim bin(n,p) \] 라고 나타내자.

초기하분포

초기하분포(hypergeometric distribution)는 유한한 모집단에서 비복원 추출을 할 때 성공의 횟수의 분포이다. 사탕 상자가 있는데 \(m\)개는 딸기 맛, \(n\)개는 겨자 맛이라고 하자. 상자에서 \(k\)개의 사탕을 비복원 추출했을 때 딸기 맛 사탕의 개수를 \(X\)라고 하자. 그렇다면 딸기 맛 사탕의 개수가 \(X=x\)일 확률은 \[ P(X=x) = \frac{\binom{m}{k}\binom{n}{k-x}}{\binom{m+n}{k}} \] 이 된다. 분모는 전체 가능한 경우의 수이므로 맛을 구별하지 않고 전체 \(m+n\)개 중에 \(k\)개를 고르는 경우의 수이다. 분자는 딸기 맛 \(m\)개 중에서 \(x\)개를 뽑는 경우의 수와 겨자 맛 \(n\)개 중에서 \(k-x\)개를 고르는 경우의 수를 곱한 것이다. 이런 초기하분포를 모수 3개를 이용하여 \[ X \sim hyper(m,n,k) \] 로 나타내자.

초기하분포의 이항분포로의 수렴

초기하분포에서 \(m\rightarrow\infty\), \(n\rightarrow\infty\), \(m/(m+n) \rightarrow p\)이면 이항분포로 수렴한다. 마법 상자가 있어서 무한히 많은 사탕이 들어 있는데 딸기 맛이 60\%, 겨자 맛이 40\%로 비율이 일정한 경우 그 중 \(n\)개를 비복원 추출하는 경우를 생각해 보자. 무한히 사탕이 많으니 비복원 추출로 100개를 뽑으나 1억 개를 뽑으나 사탕 하나를 꺼낼 때 딸기 맛 사탕일 확률은 0.6이다. 그러니까 초기하분포가 모집단의 크기가 엄청나게 크면 이항분포에 가깝게 되는 것이다.

초기하분포가 이항분포로 수렴하는 것을 증명해 보자.

이것을 증명하기 위해서 알아두어야할 공식이 있다. 스털링의 공식(Stirling's formula)이다. \(n!\)의 근사값을 구하기 위한 공식이다. \(n\)이 클 때 \[ n! \approx \sqrt{2\pi n} (n/e)^n \] 이 성립한다. 여기서 \(e\)는 물론 자연상수이다. 또 하나는 \[ \lim_{n\rightarrow\infty}\left(1+\frac{a}{n}\right)^n = e^a \] 이다. 초기하분포의 pdf를 정리하여 보자. \[ P(X=x) = \frac{\binom{m}{x}\binom{n}{k-x}}{\binom{m+n}{k}} = \frac{\frac{m!}{(m-x)!x!}\frac{n!}{(n-k+x)!(k-x)!}}{\frac{(m+n)!}{(m+n-k)!k!}} \] 일단 특별한 것은 없다. \(m\), \(n\)은 무한히 커질 것이지만 \(x\), \(k\)는 상수로 변하지 않을 것이니 앞으로 빼내고 나머지는 그대로 쓴 것이다. \[ = \frac{k!}{x!(k-x)!}\frac{m!}{(m-x)!}\frac{n!}{(n-k+x)!}\frac{(m+n-k)!}{(m+n)!} \] 첫번째 항을 보면 벌써 이항 분포에 들어갈 것이 나왔다. 이항분포는 다음 처럼될 것이다. \[ P(X=x) = \binom{k}{x} p^{x}(1-p)^{k-x} = \frac{k!}{x!(k-x)!}p^{x}(1-p)^{k-x} \] 이제 \(p^x(1-p)^{k-x}\) 부분만 만들면 된다. 스털링의 공식을 적용하자. 분모, 분자의 멱승의 개수가 똑같으므로 스털링 공식에서 상수 부분 \(\sqrt{2\pi}\)는 어차피 약분이 될 것이니 쓸 필요없다. \[ \approx \binom{k}{x} \frac{m^{m+1/2}}{(m-x)^{m-x+1/2}} \frac{n^{n+1/2}}{(n-k+x)^{n-k+x+1/2}} \frac{(m+n-k)^{m+n-k+1/2}}{(m+n)^{m+n+1/2}} \] 위 식에서 스털링 공식의 \(e^n\) 부분을 쓰지 않았다. 분모, 분자에서 동일하기 때문이다. 분자는 \(m+n+m+n-k = 2m+2n-k\)이고 분모는 \(m-x+n-k+x+m+n = 2m+2n-k\)로 동일하다. 따라서 약분이 되어 사라진다. 이제 분모, 분자를 하나로 묶을 수 있게 제곱부분에 있는 \(x\), \(k\)를 밖으로 빼보자. \[ = \binom{k}{x} \left(\frac{m}{m-x}\right)^{m+1/2} \left(\frac{n}{n-k+x}\right)^{n+1/2} \left(\frac{m+n-k}{m+n}\right)^{m+n+1/2} \frac{(m+n-k)^{-k}}{(m-x)^{-x}(n-k+x)^{-k+x}} \] 여기서 두번째, 세번째, 네번째 항을 보자. \[ \lim_{m\rightarrow\infty} \left(\frac{m}{m-x}\right)^{m+1/2} = \lim_{m\rightarrow\infty} \left(\frac{m}{m-x}\right)^{m} \left(\frac{m}{m-x}\right)^{1/2} = \lim_{m\rightarrow\infty} \left(\frac{m-x}{m}\right)^{-m} = \lim_{m\rightarrow\infty} \left(1-\frac{x}{m}\right)^{-m} = e^x \] 이런 방식으로 각각은 \[ \lim_{m\rightarrow\infty} \left(\frac{n}{n-k+x}\right)^{n+1/2} = e^{k-x} \] \[ \lim_{m\rightarrow\infty} \left(\frac{m+n-k}{m+n}\right)^{m+n+1/2} = e^{-k} \] 로 수렴한다. 그래서 결국 \( e^x e^{k-x} e^{-k} =1 \)로 사라지고 \[ \approx \binom{k}{x} \frac{(m+n-k)^{-k}}{(m-x)^{-x}(n-k+x)^{-k+x}} \] 만 남는다. 이제 분모 분자를 바꾸고 \(k = x + k-x \)로 나누어 쓰면 \[ = \binom{k}{x} \frac{(m-x)^{x}(n-k+x)^{k-x}}{(m+n-k)^k} = \binom{k}{x} \frac{(m-x)^{x}(n-k+x)^{k-x}}{(m+n-k)^x(m+n-k)^{k-x}} \] 이제 다 정리되었다. \[ \left(\frac{m-x}{m+n-k}\right)^x = \left(\frac{\frac{m}{m+n}-\frac{x}{m+n}}{1-\frac{k}{m+n}}\right)^x \rightarrow p^x, \qquad \frac{m}{m+n}\rightarrow p, m\rightarrow\infty, n\rightarrow\infty \] 따라서 \[ \approx \binom{k}{x}p^x(1-p)^{k-x} \]

적률과 적률생성함수

적률(moment)은 확률변수 \(X\)가 있을 때 \(X^n\)의 기대값이다. 이것을 \(n\)차 적률 \(m_n\)이라고 한다. 다음과 같다.
\[
m_n = EX^n
\]
이것을 non-central moment라고도 한다. 그렇다면 central moment도 있다는 뜻. \(\mu=m_1\)이라고 했을 때 \(n\)차 중심적률 \(\mu_n\)은
\[
\mu_n = E(X-\mu)^n
\]
로 정의된다. 중심적률은 우리에게 친숙한 통계량들이다. \(\mu_1\)는 평균이고, \(\mu_2\)는 분산이다. \(\mu_3\)는 왜도(skewness)와 관계가 있고 \(\mu_4\)는 첨도(kurtosis)와 관계가 있다. 왜도는 normalized centeral moment이고 첨도는 normalized central moment에서 3을 뺀 것이다.

더 높은 차수의 적률에 관심이 있다면 직접 계산하기 보다는 적률생성함수(mgf, moment generating function)가 필요하게 된다. 말 그대로 적률을 생성하는 함수이다. mgf의 정의는 다음처럼 한다.
\[
M_X(t) = E(e^{tX})
\]
이것은 \(t\)에 관한 함수이다. 이것을 이용해서 \(n\)차 적률을 구할 수 있는데 다음처럼 한다.
\[
EX^n = M_X^{(n)}(0) = \frac{d^n}{dt^n} M_X(t) \biggl]_{t=0}
\]
mgf를 \(n\)번 미분해서 0을 넣으면 된다는 뜻이다.

그런데 그 이름과 달리 실제로 mgf를 moment를 생성하는 데에 쓰지는 않는다. mgf가 쓰이는 곳은 따로 있다. 다음 두 정리를 잘 기억해 두자. 이 둘은 많은 것을 증명하는 데에 사용된다.

Theorem 1. 확률변수 \(X\), \(Y\)의 cdf를 각각 \(F_X(u)\), \(F_Y(u)\)라 하고, 두 확률변수의 mgf가 존재하고 각각을 \(M_X(t)\), \(M_Y(t)\)라 했을 때,
\[
M_X(t) = M_Y(t) \text{ for all } t \in (-h, h),\, h>0 \Rightarrow F_X(u) = F_Y(u)
\]

즉 적률생성함수가 0 근방에서 같으면 누적분포함수가 같다는 것이다. 엄청나게 강력한 theorem이 아닐 수 없다. 두 확률변수의 분포가 같다는 것을 증명하는 건 매우 어려운 일인데 mgf가 0 근방에서 같다는 것만 보이면 끝난다는 것이다.

Theorem 2. 확률변수의 열 \(X_1, X_2, \cdots\)이 있고 각각의 mgf를 \(M_{X_1}(t), M_{X_2}(t), \cdots\)라 했을 때
\[
\lim_{n\rightarrow\infty} M_{X_n}(t) = M_X(t), \quad \text{for all } t \in (-h, h),\, h>0
\]
이 성립하면 \(M_X(t)\)에 의해 그 적률들이 정해지는 cdf \(F_X\)가 유일하게 존재하고, \(F_X(x)\)가 연속일 때 모든 \(X\)에 대해
\[
\lim_{n\rightarrow\infty} F_{X_n}(x) = F_X(x)
\]
가 성립한다.

이것은 mgf가 수렴하면 분포수렴(convergence in distribution)한다는 뜻이다. 이 정리를 이용하면 어떤 분포가 어디로 수렴하는지 보일 때 mgf를 이용하여 쉽게 해결할 수 있다. 예를 들어, 이항분포의 포아송 근사라고 하는 것을 알고 있을 것이다. 이항분포 \(\textit{Binomial}(n, p)\)에서 \(np=\lambda\; (\lambda >0)\)로 일정할 때 \(n\)이 커짐에 따라 \(\textit{Poisson}(\lambda)\)에 가까와진다는 것이다. 이것을 이항분포의 mgf의 극한이 포아송분포의 mgf가 되는 것을 보임으로써 증명할 수 있다.