Softmax原理
Softmax函數用於將分類結果歸一化，形成一個概率分佈。作用類似於二分類中的Sigmoid函數。
對於一個k維向量z，我們想把這個結果轉換為一個k個類別的概率分佈p(z)。softmax可以用於實現上述結果，具體計算公式為：
對於k維向量z來說，其中zi∈R，我們使用指數函數變換可以將元素的取值範圍變換到(0,+∞),之後我們再所有元素求和將結果縮放到[0,1],形成概率分佈。
常見的其他歸一化方法，如max-min、z-score方法並不能保證各個元素為正，且和為1。
Softmax性質
輸入向量x加上一個常數c後求softmax結算結果不變，即:
我們使用softmax(x)的第i個元素的計算來進行證明：
函數實現
由於指數函數的放大作用過於明顯，如果直接使用softmax計算公式
進行函數實現，容易導致數據溢出(上溢)。所以我們在函數實現時利用其性質：先對輸入數據進行處理，之後再利用計算公式計算。具體使得實現步驟為：
查找每個向量x的最大值c；
每個向量減去其最大值c, 得到向量y = x-c;
利用公式進行計算,softmax(x) = softmax(x-c) = softmax(y)
代碼如下：
import numpy as np def softmax(x): """ softmax函數實現 參數： x --- 一個二維矩陣, m * n,其中m表示向量個數，n表示向量維度 返回： softmax計算結果 """ assert(len(X.shape) == 2) row_max = np.max(X, axis=axis).reshape(-1, 1) X -= row_max X_exp = np.exp(X) s = X_exp / np.sum(X_exp, axis=axis, keepdims=True) return s
測試一下：
a = [[1,2,3],[-1,-2,-3]]
b = [[1,2,3]]
c = [1,2,3]
a = np.array(a)
b = np.array(b)
c = np.array(c)print(softmax(a))
print(softmax(b))
print(softmax(c)) # error
輸出結果為：
[[ 0.09003057 0.24472847 0.66524096]
[ 0.66524096 0.24472847 0.09003057]]
[[ 0.09003057 0.24472847 0.66524096]]
Traceback (most recent call last):
assert(len(X.shape) == 2)
AssertionError
[ljg58026 ] Softmax函數原理及Python實現過程解析已經有249次圍觀
