적률과 적률생성함수

적률(moment)은 확률변수 \(X\)가 있을 때 \(X^n\)의 기대값이다. 이것을 \(n\)차 적률 \(m_n\)이라고 한다. 다음과 같다.
\[
m_n = EX^n
\]
이것을 non-central moment라고도 한다. 그렇다면 central moment도 있다는 뜻. \(\mu=m_1\)이라고 했을 때 \(n\)차 중심적률 \(\mu_n\)은
\[
\mu_n = E(X-\mu)^n
\]
로 정의된다. 중심적률은 우리에게 친숙한 통계량들이다. \(\mu_1\)는 평균이고, \(\mu_2\)는 분산이다. \(\mu_3\)는 왜도(skewness)와 관계가 있고 \(\mu_4\)는 첨도(kurtosis)와 관계가 있다. 왜도는 normalized centeral moment이고 첨도는 normalized central moment에서 3을 뺀 것이다.

더 높은 차수의 적률에 관심이 있다면 직접 계산하기 보다는 적률생성함수(mgf, moment generating function)가 필요하게 된다. 말 그대로 적률을 생성하는 함수이다. mgf의 정의는 다음처럼 한다.
\[
M_X(t) = E(e^{tX})
\]
이것은 \(t\)에 관한 함수이다. 이것을 이용해서 \(n\)차 적률을 구할 수 있는데 다음처럼 한다.
\[
EX^n = M_X^{(n)}(0) = \frac{d^n}{dt^n} M_X(t) \biggl]_{t=0}
\]
mgf를 \(n\)번 미분해서 0을 넣으면 된다는 뜻이다.

그런데 그 이름과 달리 실제로 mgf를 moment를 생성하는 데에 쓰지는 않는다. mgf가 쓰이는 곳은 따로 있다. 다음 두 정리를 잘 기억해 두자. 이 둘은 많은 것을 증명하는 데에 사용된다.

Theorem 1. 확률변수 \(X\), \(Y\)의 cdf를 각각 \(F_X(u)\), \(F_Y(u)\)라 하고, 두 확률변수의 mgf가 존재하고 각각을 \(M_X(t)\), \(M_Y(t)\)라 했을 때,
\[
M_X(t) = M_Y(t) \text{ for all } t \in (-h, h),\, h>0 \Rightarrow F_X(u) = F_Y(u)
\]

즉 적률생성함수가 0 근방에서 같으면 누적분포함수가 같다는 것이다. 엄청나게 강력한 theorem이 아닐 수 없다. 두 확률변수의 분포가 같다는 것을 증명하는 건 매우 어려운 일인데 mgf가 0 근방에서 같다는 것만 보이면 끝난다는 것이다.

Theorem 2. 확률변수의 열 \(X_1, X_2, \cdots\)이 있고 각각의 mgf를 \(M_{X_1}(t), M_{X_2}(t), \cdots\)라 했을 때
\[
\lim_{n\rightarrow\infty} M_{X_n}(t) = M_X(t), \quad \text{for all } t \in (-h, h),\, h>0
\]
이 성립하면 \(M_X(t)\)에 의해 그 적률들이 정해지는 cdf \(F_X\)가 유일하게 존재하고, \(F_X(x)\)가 연속일 때 모든 \(X\)에 대해
\[
\lim_{n\rightarrow\infty} F_{X_n}(x) = F_X(x)
\]
가 성립한다.

이것은 mgf가 수렴하면 분포수렴(convergence in distribution)한다는 뜻이다. 이 정리를 이용하면 어떤 분포가 어디로 수렴하는지 보일 때 mgf를 이용하여 쉽게 해결할 수 있다. 예를 들어, 이항분포의 포아송 근사라고 하는 것을 알고 있을 것이다. 이항분포 \(\textit{Binomial}(n, p)\)에서 \(np=\lambda\; (\lambda >0)\)로 일정할 때 \(n\)이 커짐에 따라 \(\textit{Poisson}(\lambda)\)에 가까와진다는 것이다. 이것을 이항분포의 mgf의 극한이 포아송분포의 mgf가 되는 것을 보임으로써 증명할 수 있다.