• 在大多数情况下，我们的参数模型定义了一个分布$p(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })$，并且我们简单地使用最大似然原理。这意味着我们使用训练数据和模型预测间的交叉熵作为代价函数。
• 有时，我们使用一个更简单的方法，不是预测$\mathbf{y}$的完整概率分布，而是仅仅预测在给定$\mathbf{x}$的条件下$\mathbf{y}$的某种统计量。某些专门的损失函数允许我们来训练这些估计量的预测器。

• sigmoid输出单元，定义为：$\hat{y}=\sigma ({\mathbf{w}}^{\top }\mathbf{h}+b)$
• 这里$\sigma$是在概率与信息论篇 - 常用函数的一些性质中介绍的Logistic Sigmoid函数。
• 我们可以认为sigmoid输出单元具有两个部分。
  • 首先，它使用一个线性层来计算$z={\mathbf{w}}^{\top }\mathbf{h}+b$。
  • 接着，它使用sigmoid激活函数将$z$转化成概率。
• 我们暂时忽略对于$\mathbf{x}$的依赖性，只讨论如何用$z$的值来定义$y$的概率分布。sigmoid可以通过构造一个非归一化（和不为$1$）的概率分布$\tilde{P}(y)$来得到。
• 我们可以随后除以一个合适的常数来得到有效的概率分布。如果我们假定非归一化的对数概率对$y$和$z$是线性的，可以对它取指数来得到非归一化的概率。然后对它归一化，可以发现这服从Bernoulli分布，它受$z$的sigmoid变换控制：
  $\{\begin{array}{l}\begin{array}{l}\log \tilde{P}(y)=yz,\\ \\ \tilde{P}(y)=e^{yz},\\ \\ P(y)=\frac{e^{yz}}{{\sum }_{y^{\prime }=0}^1{e}^{y^{\prime }z}},\\ \\ P(y)=\sigma ((2y-1)z)\end{array}\end{array}$
• 基于指数和归一化的概率分布在统计模型的文献中很常见。用于定义这种二值型变量分布的变量$z$被称为分对数（logit）。

• 这个推导使用了概率与信息论篇 - 常用函数的一些性质中的一些性质。
• 通过将损失函数写成softplus函数的形式，我们可以看到它仅仅在$(1-2y)z$取绝对值非常大的负值时才会饱和。
• 因此饱和智慧出现在模型已经得到正确答案时，即当$y=1$且$z$取非常大的正直时，或者$y=0$且$z$取非常小的负值时。
• 当$z$的符号错误时，softplus函数的变量：$(1-2y)z$，可以简化为$|z|$。
• 当$|z|$变得很大并且$z$的符号错误时，softplus函数渐进地趋向于它的变量$|z|$。
• 对$z$求导则渐进地趋向于$\sin (z)$，所以，对于极限情况下极度不正确的$z$，softplus函数完全不会收缩梯度。这个性质很有用，因为它意味着基于梯度学习可以很快的改正错误的$z$。
• 当我们使用其他的损失函数，例如均方误差之类的，损失函数会在任何$\sigma (z)$饱和时饱和。
• sigmoid激活函数在$z$取非常小的负值时会饱和到$0$，在$z$非常大的正值时会饱和到$1$。
• 注意：这种情况一旦发生，梯度会变得非常小以至于不能用来学习，无论此时模型给出的是正确还是错误的答案。因为这个原因，最大似然几乎是训练sigmoid输出单元的优选方法。
• 理论上，sigmoid的对数总是确定和有限的，因为sigmoid的返回值总是被限制在开区间$(0,1)$上，而不是使用整个闭区间$[0,1]$的有效概率。
• 在软件实现时，为了避免数值问题，最好将负的对数似然写作$z$的函数，而不是$\hat{y}=\sigma (z)$的函数。如果sigmoid函数下溢到零，那么之后对$\hat{y}$取对数会得到负无穷。

任何时候当我们想要表示一个具有$n$个可能取值的离散型随机变量的分布时，我们都可以使用 softmax函数。它可以看作是sigmoid函数的扩展，sigmoid函数用来表示二值型变量的分布。

softmax函数最常用作分类器的输出，来表示$n$个不同类上的概率分布。比较少见的是， softmax 函数可以在模型内部使用，例如如果我们想要在某个内部变量的$n$个不同选项中进行选择。

在二值型变量的情况下，我们希望计算一个单独的数：$\hat{y}=P(y=1\mid \mathbf{x})$

• 因为这个数需要处在$0$和$1$之间，并且我们想要让这个数的对数可以很好地用于对数似然的基于梯度的优化，我们选择去预测另外一个数：$z=\log \hat{p}(y=1\mid \mathbf{x})$。
• 对其指数化和归一化，我们就得到了一个由sigmoid函数控制Bernoulli分布。

为了推广到具有$n$个值的离散型变量的情况，我们现在需要创造一个向量$\hat{y}$，它的每个元素是${\hat{y}}_i=P(y=i\mid \mathbf{x})$。

• 我们不仅要求每个${\hat{y}}_i$元素介于$0$和$1$之间，还要使得整个向量的和为$1$使得它表示一个有效的概率分布。
• 用于Bernoulli 分布的方法同可以推广到Mutlinoulli分布。首先，线性层预测了非标准的对数概率：$z={\mathbf{w}}^{\top }\mathbf{h}+\mathbf{b}$
• 其中$z_i=\log \hat{P}(y=i\mid \mathbf{x})$。
• softmax函数然后可对$z$指数化和归一化来获得需要的$\hat{y}$。最终，softmax函数的形式为：${\text{softmax(z)}}_i=\frac{e^{z_i}}{{\sum }_{j=1}{e}^{z_j}}$

和logistic sigmoid一样，当使用最大化对数似然训练softmax来输出目标值$y$时，使用指数函数工作地非常好。

这种情况下，我们想要最大化：$\log P(y=i;z)=\log \text{softmax}(z{)}_i$。

将softmax定义成指数的形式是很自然的因为对数似然中的$\log$可以抵消softmax中的$e$：
$\log \text{softmax}(z{)}_i=z_i-\log {\sum }_{j=1}{e}^{z_j}$

• 说明：
  • 第一项表示$z_i$总是对代价函数有直接的贡献。因为这一项不会饱和，所以即使$z_i$对第二项$\log {\sum }_{j=1}{e}^{z_j}$的贡献很小，学习依然可以进行。
  • 当最大化对数似然时，第一项鼓励$z_i$被推高，而第二项则鼓励所有$z$被压低。
  • 为了第二项$\log {\sum }_{j=1}{e}^{z_j}$有一个直观的理解，注意到这一项可以大致近似为${\max }_j{z}_j$。这种近似是基于对任何明显小于${\max }_j{z}_j$的$z_k$，$e^{z_k}$都是不重要的。
  • 我们能从这种近似中得到的直觉是，负对数似然代价函数总是强烈地惩罚最活跃的不正确预测。
  • 如果正确答案已经具有了softmax的最大输入，那么$-z_i$项和$\log {\sum }_j{e}^{z_j}\approx {\max }_j{z}_j=z_i$项将大致抵消。这个样本对整体训练代价贡献很小，将由其他为被正确分类的样本支配。

到目前为止我们只讨论了一个例子。总体来说，未正则化的最大似然会驱动模型去学习一些参数，而这些参数会驱动softmax函数来预测在训练集中观察到的每个结果的比率：
$\text{softmax}(\mathbf{z}(\mathbf{x};\mathbf{\theta }){)}_i\approx \frac{{\sum }_{j=1}^m{1}_{y^{(j)}=i,x^{(j)}=\mathbf{x}}}{{\sum }_{j=1}^m{1}_{{\mathbf{x}}^{(j)=\mathbf{x}}}}$

• 因为最大似然是一致的估计量，所以只要模型族能够表示训练的分布，这就能保证发生。
• 在实践中，有限的模型能力和不完美的优化将意味着模型智能近似这些比率。

注意：除了对数似然之外的许多目标函数对softmax函数不起作用。

• 具体来说，那些不使用对数来抵消softmax中的指数的目标函数，当指数函数的变量取非常小的负值时会造成梯度消失，从而无法学习。
• 特别是，平方误差对于softmax单元来说是一个很差的损失函数，即使模型做出高度可信的不正确预测，也不能训练模型改变其输出。要理解为什么这些损失函数可能失败，我们需要检查softmax函数本身。

像sigmoid一样，softmax激活函数可能会饱和。

• sigmoid函数具有单个输出，当它的输入极端负或极端正时会饱和。
• 对于softmax的情况它有多个输出值。
  • 当输入值之间的差异变得极端时，这些输出值可能饱和。
  • 当softmax饱和时，基于softmax的许多代价函数也饱和，除非它们能够转化饱和的激活函数。

为了说明softmax函数对于输入之间差异的响应，观察到当对所有的输入都加上一个相同常数时softmax的输出不变：
$\text{softmax}(\mathbf{z})=\text{softmax}(\mathbf{z}+c)$，使用这个性质，我们可以导出一个数值方法稳定的softmax函数的变体：$\text{softmax}(\mathbf{z})=\text{softmax}(\mathbf{z}-\underset{i}{\max }{z}_i)$。

• 变换后的形式允许我们在对softmax函数求值时只有很小的数值误差，即使是当$z$包含极正或者极负的数时。观察softmax数值稳定的变体，可以看到softmax函数由它的变量偏离$\underset{i}{\max }{z}_i$的量来驱动。
• 当其中一个输入是最大（$z_i=\underset{i}{\max }{z}_i$）并且$z_i$远大于其他的输入时，相应的输出$\text{softmax}(z{)}_i$会饱和到$1$。
• 当$z_i$不是最大值并且最大值非常大时，相应的输出$\text{softmax}(z{)}_i$会饱和到$0$。
• 这是sigmoid单元饱和方式的一般化，并且如果损失函数不被设计成对其进行补偿，那么也会造成类似的学习困难。

softmax函数的变量$z$可以用两种方式产生

• 最常见的是简单地使用神经网络较早的层输出$z$的每个元素，就像先前描述的使用线性层$\mathbf{z}=W^{\top }\mathbf{h}+\mathbf{b}$。
• 虽然很直观，但这种方法是对分布的过渡参数化。
  • $n$个输出总和必须为$1$的约束意味着只有$n-1$个参数是必要的；
  • 第$n$个概率值可以通过$1$减去前面$n-1$个概率来获得。
• 因此，我们可以强制要求$z$的一个元素是固定的。例如我们可以要求$z_n=0$。事实上，这正是sigmoid单元所做的。定义$P(y=1\mid \mathbf{x})=\sigma (z)$等价于用二维的$\mathbf{z}$以及$z_1=0$来定义$P(y=1\mid \mathbf{x})=\text{softmax}(\mathbf{z}{)}_1$。
• 无论是$n-1$个变量还是$n$个变量的方法，都描述了相同的概率分布，但会产生不同的学习机制。
• 在实践中，无论是过度参数化的版本还是限制的版本都很少有差别，并且实现过度参数的版本更为简单。

从神经科学的角度看，有趣的是认为softmax是一种在参与其中的单元之间形成竞争的方式： softmax输出总是和为$1$，所以一个单元的值增加必然对应着其他单元值的减少。这与被认为存在于皮质中相邻神经元间的侧抑制类似。在极端情况下（当最大的$a_i$和其他的在幅度上差异很大时），它变成了赢者通吃 (winner-take-all)的形式（其中一个输出接近$1$，其他的接近$0$）。

“softmax”的名称可能会让人产生困惑

• 这个函数更接近于argmax函数而不是max函数。
• “soft”这个术语来源于softmax函数是连续可微的。
• argmax函数的结果表示为一个one-hot向量（只有一个元素为$1$，其余元素都为$0$的向量），不是连续和可微的。
• softmax函数因此提供了argmax的“软化”版本。
• max函数相应的软化版本是$\text{softmax}(\mathbf{z}{)}^{\top }\mathbf{z}$。
• 可能最好是把softmax函数称为“softargmax”，但当前名称是一个根深蒂固的习惯了。