【統計】正規分布の期待値・分散・積率母関数の導出や性質まとめ

正規分布は連続型の確率分布です．正規分布のことをガウス分布ということもあります．

正規分布

正規分布

グラフ

横軸を確率変数，縦軸を確率密度関数とします．標準正規分布のグラフは以下のようになります．

確率密度関数(probability density function)

平均 $\mu$ ，分散 $\sigma ^2$ の正規分布に従う確率変数 $X$ の確率密度関数 $f(x)$ は，

と表せます．

\begin{eqnarray*}
f(x)
&=& \frac{1}{\sqrt{2\pi \sigma ^2}}e^{- \frac{(x-\mu)^2}{2 \sigma ^2}} \\ 
&=& \frac{1}{\sqrt{2\pi}\sigma}exp\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2\}
\qquad (-\infty < x < \infty )
\end{eqnarray*}

\begin{eqnarray*}

f(x)

&=& \frac{1}{\sqrt{2\pi \sigma ^2}}e^{- \frac{(x-\mu)^2}{2 \sigma ^2}} \\

&=& \frac{1}{\sqrt{2\pi}\sigma}exp\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2\}

\qquad (-\infty < x < \infty )

\end{eqnarray*}

確率密度関数を用いた期待値の導出

上の確率密度関数 $f(x)$ から期待値を導出します．

ここで， $y=\frac{x-\mu}{\sigma}$ とすると，

より，

よって，期待値は，

となります．

\begin{eqnarray*}
E(X)
&=& \int ^{\infty} _{-\infty} x f(x) dx \\
&=& \int ^{\infty} _{-\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\
&=& \int ^{\infty} _{-\infty} (x - \mu + \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\
&=& \int ^{\infty} _{-\infty} (x - \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} + \mu f(x)dx \\
&=& \int ^{\infty} _{-\infty} \left(\frac{x - \mu}{\sigma} \right) \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx + \mu \int ^{\infty} _{-\infty} f(x)dx \\
&=& \int ^{\infty} _{-\infty} \left(\frac{x - \mu}{\sigma} \right) \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx + \mu \\
\end{eqnarray*}
ここで，$y=\frac{x-\mu}{\sigma}$とすると，\\
\begin{equation*}
dy = \frac{1}{\sigma}dx \Longleftrightarrow dx = \sigma dy
\end{equation*}
より，\\
\begin{eqnarray*}
E(X)
&=& \int ^{\infty} _{- \infty} y \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} y^2 \right\} \cdot \sigma dy + \mu \\
&=& \left[ - \frac{1}{\sqrt{2 \pi}} exp \left\{ - \frac{1}{2} y^2 \right\} \right] ^{\infty} _{\infty} + \mu \\
&=& \mu
\end{eqnarray*}
よって，期待値は，\\
\begin{equation*}
E(X) = \mu
\end{equation*}
となります．

\begin{eqnarray*}

E(X)

&=& \int ^{\infty} _{-\infty} x f(x) dx \\

&=& \int ^{\infty} _{-\infty} x \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\

&=& \int ^{\infty} _{-\infty} (x - \mu + \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\

&=& \int ^{\infty} _{-\infty} (x - \mu) \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} + \mu f(x)dx \\

&=& \int ^{\infty} _{-\infty} \left(\frac{x - \mu}{\sigma} \right) \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx + \mu \int ^{\infty} _{-\infty} f(x)dx \\

&=& \int ^{\infty} _{-\infty} \left(\frac{x - \mu}{\sigma} \right) \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx + \mu \\

\end{eqnarray*}

ここで，$y=\frac{x-\mu}{\sigma}$とすると，\\

\begin{equation*}

dy = \frac{1}{\sigma}dx \Longleftrightarrow dx = \sigma dy

\end{equation*}

より，\\

\begin{eqnarray*}

E(X)

&=& \int ^{\infty} _{- \infty} y \cdot \frac{1}{\sqrt{2\pi}} exp \left\{ -\frac{1}{2} y^2 \right\} \cdot \sigma dy + \mu \\

&=& \left[ - \frac{1}{\sqrt{2 \pi}} exp \left\{ - \frac{1}{2} y^2 \right\} \right] ^{\infty} _{\infty} + \mu \\

&=& \mu

\end{eqnarray*}

よって，期待値は，\\

\begin{equation*}

E(X) = \mu

\end{equation*}

となります．

確率密度関数を用いた分散の導出

上の確率密度関数 $f(x)$ から分散を導出します．

ここで， $z=\frac{x-\mu}{\sigma}$ とすると，

より，

よって，分散は，

となります．

\begin{eqnarray*}
V[X]
&=& E[(X-\mu)^2] \\
&=& \int ^{\infty} _{-\infty} (x-\mu )^2 f(x)dx \\
&=& \int ^{\infty} _{-\infty} (x-\mu )^2 \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\
&=& \sigma \int ^{\infty} _{-\infty} \left( \frac{x-\mu}{\sigma} \right)^2 \cdot \frac{1}{\sqrt{2\pi}}exp \left\{ - \frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx \\
\end{eqnarray*}
ここで，$z=\frac{x-\mu}{\sigma}$とすると，
\begin{equation*}
dz = \frac{1}{\sigma}dx \Longleftrightarrow dx = \sigma dz 
\end{equation*}
より，
\begin{eqnarray*}
V[X]
&=& \sigma \int ^{\infty} _{-\infty} z^2 \cdot \frac{1}{\sqrt{2 \pi}}exp \left(- \frac{1}{2} z^2 \right) \cdot \sigma dz \\
&=& \sigma ^2 \int ^{\infty} _{-\infty} -z \cdot \frac{1}{\sqrt{2 \pi}} \left\{ exp \left( - \frac{1}{2} z^2 \right) \right\}' dz \\
&=& \sigma ^2 \left[ -z \cdot \frac{1}{\sqrt{2 \pi}} exp \left( - \frac{1}{2} z^2 \right) \right] ^{\infty} _{-\infty} + \sigma^2 \int ^{\infty} _{-\infty} \underline{\frac{1}{\sqrt{2 \pi}}exp \left(- \frac{1}{2} z^2 \right)} dz \\
&& (\because \mbox{下線部は，平均0，分散1の正規分布}N(0,1)\mbox{の確率密度関数}) \\
&=& 0+\sigma ^2 \\
&=& \sigma ^2
\end{eqnarray*}
よって，分散は，
\begin{equation*}
V[X] = \sigma ^2
\end{equation*}
となります．

\begin{eqnarray*}

V[X]

&=& E[(X-\mu)^2] \\

&=& \int ^{\infty} _{-\infty} (x-\mu )^2 f(x)dx \\

&=& \int ^{\infty} _{-\infty} (x-\mu )^2 \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\

&=& \sigma \int ^{\infty} _{-\infty} \left( \frac{x-\mu}{\sigma} \right)^2 \cdot \frac{1}{\sqrt{2\pi}}exp \left\{ - \frac{1}{2} \left( \frac{x-\mu}{\sigma} \right)^2 \right\} dx \\

\end{eqnarray*}

ここで，$z=\frac{x-\mu}{\sigma}$とすると，

\begin{equation*}

dz = \frac{1}{\sigma}dx \Longleftrightarrow dx = \sigma dz

\end{equation*}

より，

\begin{eqnarray*}

V[X]

&=& \sigma \int ^{\infty} _{-\infty} z^2 \cdot \frac{1}{\sqrt{2 \pi}}exp \left(- \frac{1}{2} z^2 \right) \cdot \sigma dz \\

&=& \sigma ^2 \int ^{\infty} _{-\infty} -z \cdot \frac{1}{\sqrt{2 \pi}} \left\{ exp \left( - \frac{1}{2} z^2 \right) \right\}' dz \\

&=& \sigma ^2 \left[ -z \cdot \frac{1}{\sqrt{2 \pi}} exp \left( - \frac{1}{2} z^2 \right) \right] ^{\infty} _{-\infty} + \sigma^2 \int ^{\infty} _{-\infty} \underline{\frac{1}{\sqrt{2 \pi}}exp \left(- \frac{1}{2} z^2 \right)} dz \\

&& (\because \mbox{下線部は，平均0，分散1の正規分布}N(0,1)\mbox{の確率密度関数}) \\

&=& 0+\sigma ^2 \\

&=& \sigma ^2

\end{eqnarray*}

よって，分散は，

\begin{equation*}

V[X] = \sigma ^2

\end{equation*}

となります．

標準偏差

標準偏差は，分散の平方根を取ることで得られる．

\begin{eqnarray*}
SD(x)
&=& \sqrt{V(x)} \\
&=& \sqrt{\sigma ^2} \\
&=& \sigma
\end{eqnarray*}

\begin{eqnarray*}

SD(x)

&=& \sqrt{V(x)} \\

&=& \sqrt{\sigma ^2} \\

&=& \sigma

\end{eqnarray*}

積率母関数(モーメント母関数)

上の確率密度関数 $f(x)$ から積率母関数を導出します．

\begin{eqnarray*}
M_X(\theta)
&=& E(e^{\theta X}) \\
&=& \int ^{\infty} _{-\infty} e^{\theta x} f(x)dx \\
&=& \int ^{\infty} _{-\infty} e^{\theta x} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\
&=& \int ^{\infty} _{-\infty} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x^2 - 2\mu x + \mu ^2 + 2\sigma ^2 \theta x) \right\} dx \\
&=& \int ^{\infty} _{-\infty} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{(x-(\mu + \sigma ^2 \theta))^2}{2 \sigma ^2} + \mu \theta + \frac{\sigma ^2 \theta ^2}{2} \right\} dx \\
&=& e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \int ^{\infty} _{-\infty} \underline{\frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{(x-(\mu + \sigma ^2 \theta))^2}{2 \sigma ^2} \right\} } dx \\
&& (\because \mbox{下線部は，平均} \mu + \sigma ^2 \theta \mbox{分散} \sigma \mbox{の正規分布} N(\mu + \sigma ^2 \theta , \sigma) \mbox{の確率密度関数}) \\
&=& e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}}
\end{eqnarray*}

\begin{eqnarray*}

M_X(\theta)

&=& E(e^{\theta X}) \\

&=& \int ^{\infty} _{-\infty} e^{\theta x} f(x)dx \\

&=& \int ^{\infty} _{-\infty} e^{\theta x} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x-\mu)^2 \right\} dx \\

&=& \int ^{\infty} _{-\infty} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{1}{2 \sigma ^2} (x^2 - 2\mu x + \mu ^2 + 2\sigma ^2 \theta x) \right\} dx \\

&=& \int ^{\infty} _{-\infty} \cdot \frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{(x-(\mu + \sigma ^2 \theta))^2}{2 \sigma ^2} + \mu \theta + \frac{\sigma ^2 \theta ^2}{2} \right\} dx \\

&=& e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \int ^{\infty} _{-\infty} \underline{\frac{1}{\sqrt{2\pi}\sigma}exp \left\{ - \frac{(x-(\mu + \sigma ^2 \theta))^2}{2 \sigma ^2} \right\} } dx \\

&& (\because \mbox{下線部は，平均} \mu + \sigma ^2 \theta \mbox{分散} \sigma \mbox{の正規分布} N(\mu + \sigma ^2 \theta , \sigma) \mbox{の確率密度関数}) \\

&=& e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}}

\end{eqnarray*}

積率母関数を用いた期待値の導出

上の積率母関数 $M_X(\theta )$ から期待値を導出します．

\begin{eqnarray*}
E(X)
&=& \left. \frac{d}{d \theta} M_X(\theta ) \right| _{\theta = 0} \\
&=& \left. \left( \mu \theta + \frac{\sigma ^2 \theta ^2}{2} \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\
&=& \left. \left( \mu + \sigma ^2 \theta \right) e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\
&=& (\mu + 0) \cdot 1 \\
&=& \mu
\end{eqnarray*}

\begin{eqnarray*}

E(X)

&=& \left. \frac{d}{d \theta} M_X(\theta ) \right| _{\theta = 0} \\

&=& \left. \left( \mu \theta + \frac{\sigma ^2 \theta ^2}{2} \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\

&=& \left. \left( \mu + \sigma ^2 \theta \right) e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\

&=& (\mu + 0) \cdot 1 \\

&=& \mu

\end{eqnarray*}

積率母関数を用いた分散の導出

上の積率母関数 $M_X(\theta )$ から分散を導出します．

よって，

\begin{eqnarray*}
E(X^2)
&=& \left. \frac{d^2}{d \theta ^2} M_X(\theta ) \right| _{\theta = 0} \\
&=& \left. \left( \mu + \sigma ^2 \theta \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} + (\mu + \sigma ^2 \theta ) \cdot \left( \mu \theta + \frac{\sigma ^2 \theta^2}{2} \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\
&=& \left. \sigma ^2 \cdot e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} + (\mu + \sigma ^2 \theta ) ^2 \cdot e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\
&=& \sigma ^2 \cdot 1 + \mu ^2 \cdot 1 \\
&=& \sigma ^2 + \mu ^2 
\end{eqnarray*}
\begin{eqnarray*}
V(X)
&=& E(X^2) - \left\{ E(X) \right\} ^2 \\
&=& \sigma ^2 + \mu ^2 - \mu ^2 \\
&=& \sigma ^2
\end{eqnarray*}

\begin{eqnarray*}

E(X^2)

&=& \left. \frac{d^2}{d \theta ^2} M_X(\theta ) \right| _{\theta = 0} \\

&=& \left. \left( \mu + \sigma ^2 \theta \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} + (\mu + \sigma ^2 \theta ) \cdot \left( \mu \theta + \frac{\sigma ^2 \theta^2}{2} \right) ' e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\

&=& \left. \sigma ^2 \cdot e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} + (\mu + \sigma ^2 \theta ) ^2 \cdot e^{\mu \theta + \frac{\sigma ^2 \theta ^2}{2}} \right| _{\theta = 0} \\

&=& \sigma ^2 \cdot 1 + \mu ^2 \cdot 1 \\

&=& \sigma ^2 + \mu ^2

\end{eqnarray*}

\begin{eqnarray*}

V(X)

&=& E(X^2) - \left\{ E(X) \right\} ^2 \\

&=& \sigma ^2 + \mu ^2 - \mu ^2 \\

&=& \sigma ^2

\end{eqnarray*}

標準正規分布

平均0，分散1の正規分布を標準正規分布という．
また，確率変数 $X$ が正規分布 $N(\mu , \sigma ^2)$ に従うとき，次のような $X$ の線形変換

は標準正規分布N(0,1)に従い，このように平均を0，分散が1となるように変換する操作のことを標準化(standardization)という．
標準正規分布に従う確率変数Zの確率密度関数f(z)は，

となる．

標準正規分布は，累積分布関数

が数値表として与えられています．

\begin{equation*}
f(z) = \frac{1}{\sqrt{2 \pi}}e^{- \frac{z^2}{2}}
\end{equation*}

\begin{equation*}

f(z) = \frac{1}{\sqrt{2 \pi}}e^{- \frac{z^2}{2}}

\end{equation*}

\begin{equation*}
\Phi (z) = \int _{-\infty} ^{z} \frac{1}{\sqrt{2\pi}} exp \left( - \frac{x^2}{2} \right) dx
\end{equation*}

\begin{equation*}

\Phi (z) = \int _{-\infty} ^{z} \frac{1}{\sqrt{2\pi}} exp \left( - \frac{x^2}{2} \right) dx

\end{equation*}

カイ二乗分布との関係

確率分布 $Z_1,Z_2,\cdots ,Z_n$ が互いに独立に標準正規分布に従うとき，

とすると，確率変数 $X$ が従う確率分布を自由度 $n$ のカイ二乗分布といいます．

また，自由度 $n$ のカイ二乗分布を $\chi ^2 _{(n)}$ と表します．

→証明はこちら

T分布との関係

確率変数 $X$ が標準正規分布 $N(0,1)$ に従い，確率変数 $Y$ が自由度 $n$ のカイ二乗分布に従い，互いに独立のとき，

とすると，確率変数 $T$ はT分布に従います．

→証明はこちら