这个计算器能做什么
本工具用于计算带增益参数的逻辑斯蒂 Sigmoid 函数的二阶导数,记作 \(s''_a(x)\),即在给定点 \(x\)、给定增益 \(a\)(即斜率参数,常被称为 alpha)下的取值。逻辑斯蒂 Sigmoid 是神经网络和统计模型中最常用的激活函数之一,它的各阶导数广泛出现在基于梯度的训练过程以及曲率分析中。
计算公式
增益为 \(a\) 的 Sigmoid 函数为 $$s_a(x) = \frac{1}{1 + e^{-a x}}.$$ 其一阶导数为 $$s'_a(x) = a\,s\,(1 - s),$$ 二阶导数为 $$s''_a(x) = a^{2}\,s\,(1 - s)\,(1 - 2s),$$ 其中 \(s = s_a(x)\)。由于所有结果都可以用 \(s\) 表示,计算器会先求出 \(s\),再复用它来计算两个导数。分母 \(1 + e^{-a x}\) 恒为正数,因此不存在除以零的问题。
使用方法
输入增益 \(a\)(默认值为 1)和计算点 \(x\)(默认值为 0.5),即可读取 Sigmoid 函数值、一阶导数以及作为重点结果的二阶导数。若想找出拐点,请注意 \(s''_a(x) = 0\) 恰好出现在 \(s = 0.5\) 处,而无论增益取何值,这一点都对应 \(x = 0\)。
实例演算
取 \(a = 1\)、\(x = 0.5\):\(e^{-0.5} = 0.606531\),所以 \(s = \frac{1}{1.606531} = 0.622459\)。于是 \(1 - s = 0.377541\),$$s' = 1 \times 0.622459 \times 0.377541 = 0.235004.$$ 最后 \(1 - 2s = -0.244919\),得到 $$s'' = 1 \times 0.235004 \times (-0.244919) = -0.057557.$$
常见问题
增益 \(a\) 起什么作用?它决定 Sigmoid 曲线的陡峭程度;\(a\) 越大,过渡越急剧。当 \(a = 0\) 时,\(s\) 处处等于 0.5,因此两个导数都为 0。
二阶导数在哪里等于零?在 \(x = 0\) 这个拐点处,此时 Sigmoid 曲线由凸转凹。
数值计算是否稳定?稳定——当 \(a x\) 为负时,计算器会改用等价形式 \(\frac{e^{a x}}{1 + e^{a x}}\),以避免指数运算溢出。