シグモイド関数

次の関数はシグモイド関数と呼ばれます。$$f(x)=\frac{1}{1+e^{-ax}}=\frac{1}{2}\left( \tanh \frac{ax}{2}+1\right)$$(\(a=1\) のときは標準シグモイド関数と呼ばれます。)

漸近線は \(y=0, y=1\) であり、また明らかに\(\displaystyle\lim_{x \to \infty} f(x)=1, \displaystyle\lim_{x \to -\infty} f(x)=0, f(0)=\frac{1}{2}\) です。


シグモイド関数は上記の通り、2種類の表し方がありますが \( \tanh \) の方の式を変形してみると
$$f(x)=\frac{1}{2}\left( \tanh \frac{ax}{2}+1\right)=\frac{1}{2}\left(\frac{e^{\frac{ax}{2}}+e^{-\frac{ax}{2}}}{e^{\frac{ax}{2}}+e^{-\frac{ax}{2}}}+1\right)$$左の項の分子と分母に \(\displaystyle e^{-\frac{ax}{2}}\) を掛けて$$=\frac{1}{2}\left(\frac{1-e^{-ax}}{1+e^{-ax}}+1\right)=\frac{1}{2}\left(\frac{1-e^{-ax}+1+e^{-ax}}{1+e^{-ax}}\right)=\frac{1}{1+e^{-ax}}$$となって一致します。


このページでは次を示します。
\((1)\) 標準シグモイド関数の逆関数はロジット関数であること。
\((2)\)  シグモイド関数の対数微分
\begin{alignat}{2}
&(a) \frac{d}{dx} \log f(x)=af(-x)=a\{1-f(x)\}\\
&(b) \frac{d}{dx} \log \{1-f(x)\}=-af(x)
\end{alignat}\((3)\) シグモイド関数の微分方程式
\begin{alignat}{2}
&(c) f’(x)=af(x)\{1-f(x)\}\\
&(d) f’’(x)=a^2f(x)\{1-f(x)\}\{1-2f(x)\}
\end{alignat}






\((1)\) ロジット関数は次の式のことです。$$logit(x)=\log \left(\frac{x}{1-x}\right)$$標準シグモイド関数 \(\displaystyle y=\frac{1}{1+e^{-x}}\) の \(x\) と \(y\) を入れ替えると \(\displaystyle x=\frac{1}{1+e^{-y}}\) ですので、この式を再び \(y=\) の式へと変形していきます。\begin{alignat}{2}
&1+e^{-y}=\frac{1}{x},  e^{-y}=\frac{1}{x}-1=\frac{1-x}{x}\\
&-y= \log \left(\frac{1-x}{x}\right),  f^{-1}(x)= \log \left(\frac{x}{1-x}\right)
\end{alignat}以上より、標準シグモイド関数の逆関数は
ロジット関数であることが示されました。






以降の証明のために予め、用意しておきます。
\begin{alignat}{2}
&f(-x)=\frac{1}{1+e^{ax}},  1-f(x)=1-\frac{1}{1+e^{-ax}}=\frac{e^{-ax}}{1+e^{-ax}}\\
\end{alignat}
\((2)\) シグモイド関数の両辺に \( \log\) を付けます。$$\log f(x)=- \log (1+e^{-ax})$$両辺 \(x\) で微分します。\begin{alignat}{2}
&\frac{d}{dx} \log f(x)=-\frac{-ae^{-ax}}{1+e^{-ax}}=\frac{ae^{-ax}}{1+e^{-ax}}=a \cdot \frac{1}{1+e^{ax}}=af(-x)\\
&\frac{d}{dx}\log f(x)=a \cdot \frac{e^{-ax}}{1+e^{-ax}}=a\{1-f(x\})
\end{alignat}





\((3)\) シグモイド関数を微分します。$$f’(x)=-\frac{-ae^{-ax}}{(1+e^{-ax})^2}=a \cdot \frac{1}{1+e^{-ax}}\cdot \frac{e^{-ax}}{1+e^{-ax}}=af(x)\{1-f(x)\}$$もう一度微分します。(\(y=f(x)\) と置きます。)
\begin{alignat}{2}
&y’’=a\{y’(1-y)+y(-y’)\}=a\{y’(1-y)-yy’\}\\
&  =ay’(1-2y)=a^2y(1-y)(1-2y)
\end{alignat} 以上より$$ f’’(x)=a^2f(x)\{1-f(x)\}\{1-2f(x)\} $$

“シグモイド関数” への1件の返信

  1. なせディープラーニングで使うのかはダイセルの久保田博士の材料物理数学再武装を読めばわかるよ。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です