正規分布

二項分布の \(n\) を十分に大きくした連続型の分布を「正規分布」と呼びます。

正規分布の確率密度関数は次の式で表されます。$$f(x)=\frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} (-\infty \lt x \lt \infty)$$また、期待値及び分散は$$E[X]=μ, V[X]=σ^2$$モーメント母関数は$$M(θ)=e^{μθ+\frac{1}{2}σ^2θ^2}$$累積分布関数は$$F(x)=\frac{1}{2}\left\{1+\mathrm{erf}\left(\frac{x-μ}{\sqrt{2σ^2}}\right)\right\}$$




<証明>
(1) 正規分布を導出します。次のように二項分布の式を置きます。$$P(x)={}_n \mathrm{C}_x p^xq^{n-x}  (p+q=1, n \gg 0) $$この \(P(x)\) に \(log\) を付けたものを \(g(x)\) とします。
\begin{alignat}{2}
&g(x)=\log P(x)= \log \left\{\frac{n!}{x!(n-x)!}p^x(1-p)^{n-x}\right\}\\
&   = \log (n!)- \log (x!)- \log \{(n-x)!\}+x \log p+(n-x) \log (1-p)
\end{alignat}両辺を微分する前に \(\{ \log (x!)\}’\) を次のように近似します。$$ \{ \log (x!)\}’ \sim \frac{ \log (x!)- \log \{(x-h)!\}}{h} $$ \(h=1\) とすると$$\{ \log (x!)\}’ \sim \log (x!)- \log \{(x-1)!\}= \log \frac{x!}{(x-1)!}= \log x$$ \(g(x)\) を微分して \( \log \) でまとめます。$$g(x) \sim – \log x+ \log (n-x)+ \log p- \log (1-p)= \log \frac{(n-x)p}{x(1-p)}$$ \(g’(x)=0\) となるときの \(x\) の値は
\begin{alignat}{2}
&\frac{(n-x)p}{x(1-p)}=1, (n-x)p=x(1-p)\\
&np-xp=x-xp, x=np
\end{alignat} \(np=μ\) と置いて \(g(x)\) を \(x=μ\) の周りでテイラー展開すると$$g(x)=g(μ)+\frac{g’(μ)}{1!}(x-μ)+\frac{g’’(μ)}{2!}(x-μ)^2+\frac{g’’’(μ)}{3!}(x-μ)^3+\cdots $$ さらに3次以降の式を除外して近似します。\(g’(μ)=0\) であり、あとは \(g’’(μ)\) の値を求めます。また \(npq=σ^2\) と置きます。
\begin{alignat}{2}
&g’’(x)=-\frac{1}{x}-\frac{1}{n-x}=-\frac{n-x+x}{x(n-x)}=-\frac{n}{x(n-x)}\\
&g’’(μ)=-\frac{n}{np(n-np)}=-\frac{1}{np(1-p)}=-\frac{1}{npq}=-\frac{1}{σ^2}
\end{alignat} 以上より \(g(x)\) の近似式は$$g(x) \sim g(μ)-\frac{1}{2σ^2}(x-μ)^2 $$ \(g(x)\) は二項分布に \( \log \) を付けたものでしたので、
これを元に戻し、式全体も \( \log \) で表すことにします。\(P(μ)\) は定数です。 $$ \log P(x) \sim \log P(μ)- \log e^{\frac{1}{2σ^2}(x-μ)^2}= \log Ce^{\frac{1}{2σ^2}(x-μ)^2}$$ すなわち、二項分布は次のように近似されます。$$P(x)=Ce^{\frac{1}{2σ^2}(x-μ)^2}$$あとは全確率が「1」であることを用いて定数 \(C\) の値を定めます。
両辺を区間 \([-\infty,\infty]\) で積分します。$$\displaystyle\int_{-\infty}^{\infty} P(x)dx=C\displaystyle\int_{-\infty}^{\infty} e^{\frac{1}{2σ^2}(x-μ)^2}dx=1$$ \(x-μ=t\) とおけば \(dx=dt\) ですので、ガウス積分の公式を用いれば
\begin{alignat}{2}
&\displaystyle\int_{-\infty}^{\infty} e^{\frac{1}{2σ^2}(x-μ)^2}dx=\displaystyle\int_{-\infty}^{\infty} e^{\frac{1}{2σ^2}t^2}dt=\sqrt{\frac{π}{\frac{1}{2σ^2}}}=\sqrt{2πσ^2}\\
&C\sqrt{2πσ^2}=1, C=\frac{1}{\sqrt{2πσ^2}}
\end{alignat} この \(C\) の値を代入したものが正規分布であるので、これを \(f(x)\) と置くと、次式を得ます。 $$f(x)=\frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}} (-\infty \lt x \lt \infty)$$



(2) 期待値を求めます。$$E[X]=\displaystyle\int_{-\infty}^{\infty} xf(x)dx= \displaystyle\int_{-\infty}^{\infty} x \cdot \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}}dx=\frac{1}{\sqrt{2πσ^2}}\displaystyle\int_{-\infty}^{\infty} xe^{-\frac{(x-μ)^2}{2σ^2}}dx$$ \(\displaystyle\frac{x-μ}{σ}\) と置くと \(x=σz+μ, dx=σdz\) となりますので
\begin{alignat}{2}
&=\frac{1}{\sqrt{2πσ^2}}\displaystyle\int_{-\infty}^{\infty} (σz+μ)e^{-\frac{1}{2}z^2}σdz=\frac{1}{\sqrt{2π}}\displaystyle\int_{-\infty}^{\infty} (σz+μ)e^{-\frac{1}{2}z^2}dz\\
&=\frac{1}{\sqrt{2π}}\left(σ\displaystyle\int_{-\infty}^{\infty}ze^{-\frac{1}{2}z^2}dz+μ\displaystyle\int_{-\infty}^{\infty}e^{-\frac{1}{2}z^2}dz\right)
\end{alignat}左の積分については被積分関数が奇関数であるので \(0\) です。
右の積分はガウス積分ですので$$E[X]=\displaystyle\int_{-\infty}^{\infty} xf(x)dx=\frac{1}{\sqrt{2π}}\cdot μ \cdot \sqrt{2π}=μ$$



(3) 分散を求めるためにまずは \(E[X^2]\) を求めます。
  置き換えは(2)と同様です。
\begin{alignat}{2}
&E[X^2]=\displaystyle\int_{-\infty}^{\infty} x^2f(x)dx= \displaystyle\int_{-\infty}^{\infty} x^2 \cdot \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}}dx\\
&     =\frac{1}{\sqrt{2πσ^2}}\displaystyle\int_{-\infty}^{\infty} x^2e^{-\frac{(x-μ)^2}{2σ^2}}dx=\frac{1}{\sqrt{2πσ^2}}\displaystyle\int_{-\infty}^{\infty}(σz+μ)^2e^{-\frac{1}{2}z^2}σdz\\
&     =\frac{1}{\sqrt{2π}}\displaystyle\int_{-\infty}^{\infty}(σ^2z^2+2μσz+μ^2)e^{-\frac{1}{2}z^2}dz
\end{alignat} (2)と同じ理由で真ん中の項の積分は \(0\) です。$$=\frac{1}{\sqrt{2π}}\left(σ^2\displaystyle\int_{-\infty}^{\infty}z^2e^{-\frac{1}{2}z^2}dz+μ^2\displaystyle\int_{-\infty}^{\infty}e^{-\frac{1}{2}z^2}dz\right) $$右はガウス積分です。左の積分を計算します。
\begin{alignat}{2}
&\displaystyle\int_{-\infty}^{\infty}z^2e^{-\frac{1}{2}z^2}dz=- \displaystyle\int_{-\infty}^{\infty} z(e^{-\frac{1}{2}z^2})’dz\\
&=-\left([ze^{-\frac{1}{2}z^2}]_{-\infty}^{\infty}-\displaystyle\int_{-\infty}^{\infty} e^{-\frac{1}{2}z^2}dz\right)=\displaystyle\int_{-\infty}^{\infty}e^{-\frac{1}{2}z^2}dz=\sqrt{2π}
\end{alignat} よって \(E[X^2]\) は$$E[X^2]=\frac{1}{\sqrt{2π}}(σ\sqrt{2π}+μ^2\sqrt{2π})=σ^2+μ^2$$以上より分散は$$V[X]=E[X^2]-E[X]^2=σ^2+μ^2-μ^2=σ^2$$



(4) モーメント母関数を求めます。$$M(θ)=E[e^{θX}]=\displaystyle\int_{-\infty}^{\infty} e^{θx} \cdot \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}}dx=\frac{1}{\sqrt{2πσ^2}} \displaystyle\int_{-\infty}^{\infty} e^{θx-\frac{(x-μ)^2}{2σ^2}}dx$$(2)と同様に置き変えます。$$=\frac{1}{\sqrt{2πσ^2}} \displaystyle\int_{-\infty}^{\infty} e^{(σz+μ)θ-\frac{1}{2}z^2}σdz=\frac{1}{\sqrt{2π}}\displaystyle\int_{-\infty}^{\infty} e^{(σz+μ)θ-\frac{1}{2}z^2}dz$$\(e\) の指数部分を計算します。
\begin{alignat}{2}
&(σz+μ)θ-\frac{1}{2}z^2=-\frac{1}{2}z^2+σθz+μθ=-\frac{1}{2}(z^2-2σθz)+μθ\\
&              =-\frac{1}{2}(z^2-2σθz+σ^2θ^2)+\frac{1}{2}σ^2θ^2+μθ\\
&              =-\frac{1}{2}(z-σθ)^2+\frac{1}{2}σ^2θ^2+μθ
\end{alignat}元の式に戻ります。
\begin{alignat}{2}
&=\frac{1}{\sqrt{2π}}\displaystyle\int_{-\infty}^{\infty} e^{(σz+μ)θ-\frac{1}{2}z^2}dz=\frac{1}{\sqrt{2π}}\displaystyle\int_{-\infty}^{\infty} e^{-\frac{1}{2}(z-σθ)^2+\frac{1}{2}σ^2θ^2+μθ}dz\\
&=\frac{1}{\sqrt{2π}}e^{μθ-\frac{1}{2}σ^2θ^2} \displaystyle\int_{-\infty}^{\infty} e^{-\frac{1}{2}(z-σθ)^2}dz
\end{alignat} \(z-σθ=t\) と置くと \(dz=dt\) となってガウス積分であり、値は \(\sqrt{2π}\) となりますから
\begin{alignat}{2}
&M(θ)=\frac{1}{\sqrt{2π}}e^{μθ-\frac{1}{2}σ^2θ^2}\displaystyle\int_{-\infty}^{\infty} e^{-\frac{1}{2}t^2}dt\\
&    =\frac{1}{\sqrt{2π}}e^{μθ-\frac{1}{2}σ^2θ^2} \cdot \sqrt{2π}=e^{μθ-\frac{1}{2}σ^2θ^2}
\end{alignat}


(5) モーメント母関数を用いて期待値と分散を求めます。
\begin{alignat}{2}
&M’(θ)=(μ+σ^2θ)e^{μθ-\frac{1}{2}σ^2θ^2}, E[X]=M’(0)=μ\\
&\\
&M’’(θ)=σ^2e^{μθ-\frac{1}{2}σ^2θ^2}+(μ+σ^2θ)^2 e^{μθ-\frac{1}{2}σ^2θ^2}\\
&     =\{σ^2+(μ+σ^2θ)^2\}e^{μθ-\frac{1}{2}σ^2θ^2}\\
&M’’(0)=σ^2+μ^2\\
&V[X]=M’’(0)-M’(0)^2=σ^2+μ^2-μ^2=σ^2
\end{alignat}







\((6)\) 累積分布関数を求めます。$$F(x)=P(X \leq x)=\displaystyle\int_{-\infty}^x \frac{1}{\sqrt{2πσ^2}}e^{-\frac{(t-μ)^2}{2σ^2}}dt$$\(\displaystyle \frac{t-μ}{σ}=s\) と置きます。このとき$$t-μ=σs,  t=σs+μ,  dt=σds$$となるので
\begin{alignat}{2}
&=\frac{1}{\sqrt{2πσ^2}}\displaystyle\int_{-\infty}^{\frac{x-μ}{σ}} e^{-\frac{s^2}{2}}σds\\
&=\frac{1}{\sqrt{2π}}\left(\displaystyle\int_{-\infty}^0 e^{-\frac{s^2}{2}}ds+\displaystyle\int_0^{\frac{x-μ}{σ}} e^{-\frac{s^2}{2}}ds\right)
\end{alignat}左の積分は$$\displaystyle\int_{-\infty}^0 e^{-\frac{s^2}{2}}ds=\displaystyle\int_0^{\infty} e^{-\frac{s^2}{2}}ds=\frac{1}{2} \cdot \sqrt{2π}$$右の積分は \( \displaystyle \frac{1}{\sqrt{2}}s=r \) と置くと \((ds=\sqrt{2}dr)\)$$\displaystyle\int_0^{\frac{x-μ}{σ}} e^{-\frac{s^2}{2}}ds=\displaystyle\int_0^{\frac{x-μ}{\sqrt{2σ^2}}} e^{-r^2}\sqrt{2}dr=\sqrt{2}\cdot \frac{\sqrt{π}}{2}\mathrm{erf}\left(\frac{x-μ}{\sqrt{2σ^2}}\right)=\frac{1}{2} \cdot \sqrt{2π} \cdot \mathrm{erf}\left(\frac{x-μ}{\sqrt{2σ^2}}\right)$$となるので
\begin{alignat}{2}
&F(x)=\frac{1}{\sqrt{2π}}\left\{\frac{1}{2} \cdot \sqrt{2π}+\frac{1}{2} \cdot \sqrt{2π} \cdot \mathrm{erf}\left(\frac{x-μ}{\sqrt{2σ^2}}\right)\right\}\\
&    =\frac{1}{2}\left\{1+\mathrm{erf}\left(\frac{x-μ}{\sqrt{2σ^2}}\right)\right\}
\end{alignat}

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です