ソフトマックス関数計算機

ソフトマックス関数計算機

成長中 AI Skill PRO

計算を入力してください

K個の実数を、カンマ・スペース・改行で区切って入力してください。

公式

σ(x)i=exi−max⁡(x)∑j=1Kexj−max⁡(x)\sigma(\mathbf{x})_i = \frac{e^{\,x_i - \max(\mathbf{x})}}{\displaystyle\sum_{j=1}^{K} e^{\,x_j - \max(\mathbf{x})}}
利用統計

広告

結果

ソフトマックス σ(z)
0.0900305732, 0.2447284711, 0.6652409558
確率分布(合計は1)
ベクトルの長さ K 3
出力の合計 1
argmax(1始まりのインデックス) 3
最大確率 0.6652409558

このページの誤りを報告

ソフトマックス関数とは

ソフトマックス関数は、K個の実数からなるベクトルを確率分布に変換する関数です。各出力値は必ず0より大きく1より小さい範囲に収まり、K個すべての出力の合計はちょうど1になります。ニューラルネットワークの分類モデルでは、出力層の標準的な活性化関数として用いられ、モデルの生のスコア(ロジット)をクラスごとの確率へと変換します。無次元の関数であるため、入力は単位を持たない純粋な数値です。

3つの実数のベクトルが合計1になる3本の確率バーに変換されるフラットな図
Softmaxは実数ベクトルを合計が1になる確率分布に変換します。

この計算機の使い方

入力欄に、カンマ・スペース・改行のいずれかで区切った数値のリストとして入力ベクトルを入力してください(例:1, 2, 3)。数値は正の数、負の数、ゼロ、小数のいずれでもかまいません。「計算」を押すと、各成分のソフトマックス確率、出力の合計(1になるはずです)、そしてargmax(最も確率が大きい成分の位置を示す1始まりのインデックス)が表示されます。

計算式の解説

各成分jについて、ソフトマックスは \(\sigma(z)_j = \dfrac{e^{z_j}}{\sum_k e^{z_k}}\) で定義されます。指数を取ることですべての項が正となり、合計で割って正規化することで総和が1になります。本計算機では数値的な安定性を確保するため、指数計算の前にすべての要素から最大値mを引いています:$$\sigma(z)_j = \frac{e^{\,z_j - m}}{\displaystyle\sum_{k} e^{\,z_k - m}}$$共通因子 \(e^{-m}\) は分子分母で打ち消し合うため、結果はまったく同じになりますが、大きな入力に対するオーバーフローを防ぐことができます。

広告
指数の和の上に指数を置いたsoftmax公式の構造を示すフラットな図
各出力は、ある要素の指数を全要素の指数の和で割った値です。

計算例

z = (1, 2, 3) の場合:\(e^{1} = 2.71828\)、\(e^{2} = 7.38906\)、\(e^{3} = 20.08554\) で、合計は \(30.19287\) となります。それぞれを合計で割ると \(\sigma = (0.09003, 0.24473, 0.66524)\) となり、足し合わせると1になります。argmaxはインデックス3で、これは最大の入力に対応し、確率は \(0.66524\) です。

広告

異なる入力ベクトルに対するソフトマックス出力

この表は、次の式\(\sigma(\mathbf{x})_i = e^{x_i - \max(\mathbf{x})} / \sum_j e^{x_j - \max(\mathbf{x})}\)で計算したいくつかの入力ベクトルに対するソフトマックス出力を示しています。値は小数点以下4桁に丸めており、出力の合計は常に1になります。

入力ベクトル ソフトマックス出力 argmax(位置) コメント
(1, 1, 1) 0.3333, 0.3333, 0.3333 同順位(すべて等しい) 入力がすべて等しいと、各1/3の一様分布になります。
(1, 2, 3) 0.0900, 0.2447, 0.6652 3番目 入力同士の差が1あるため、中程度に確信のある出力になります。
(-1, 0, 1) 0.0900, 0.2447, 0.6652 3番目 2だけ平行移動した同じベクトルなので、(1, 2, 3)と同一です。
(0, 0, 5) 0.0066, 0.0066, 0.9867 3番目 一つの大きな入力が支配的になり、等しい2つの入力が残りを均等に分け合います。
(2, 4, 6) 0.0159, 0.1173, 0.8668 3番目 ベクトル (1, 2, 3) を2倍したものなので、より鋭い分布になります。
(10, 20, 30) ≈0.0000 (2.06×10-9), ≈0.0000 (4.54×10-5), 1.0000 (0.99995) 3番目 ほぼone-hot(1つだけが1となる分布)です。最大値を引く処理により、大きな入力でもオーバーフローを避けられます。

スケーリングの効果:すべての入力に1より大きい係数を掛けると、入力同士の差が広がるため、最大の要素の確率が増し、分布は鋭くなります。順位(argmax)は変わりません。0から1の間の係数を掛けると、分布は一様分布に近づく方向に平坦になります。

よくある質問

なぜ出力の合計は必ず1になるのですか? 各指数値をすべての指数値の合計で割っているため、この正規化により総和が必ず1になることが保証されます。

すべての入力が等しい場合はどうなりますか? 結果は一様分布となり、各出力はすべて \(1/K\) になります。

すべての入力に同じ定数を加えると結果は変わりますか? いいえ、変わりません。ソフトマックスはシフト不変です。すべての入力に同じ定数cを加えても出力は変化しません。これこそが、最大値を引く処理が安全である理由です。

最終更新:

数学と統計で人気の電卓

数学と統計の電卓をすべて見る