1. 激活函数 (Activation)
Sigmoid
\[
\sigma(x)=\frac{1}{1+e^{-x}}
\]
说明：输出在 \((0,1)\)；适合二分类输出（配合
BCE），但隐藏层容易发生梯度消失。
导数：
\[
\sigma'(x)=\sigma(x)(1-\sigma(x))
\]
Tanh
\[
\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}
\]
说明：输出在 \((-1,1)\)，比 sigmoid 居中（均值为 0）常用于
RNN/隐藏层。仍有梯度消失问题。
导数：
\[
\frac{d}{dx}\tanh(x)=1-\tanh^2(x)
\]
ReLU（Rectified Linear Unit）
\[
\mathrm{ReLU}(x)=\max(0,x)
\]
说明：计算简单，稀疏激活，缓解梯度消失。但负区间梯度为
0，可能出现“死神经元”。
Leaky ReLU
\[
\mathrm{LeakyReLU}(x)=
\begin{cases}
x,& x\ge 0\\
\alpha x,& x<0
\end{cases}
\]
通常 \(\alpha=0.01\)。说明：负区间保有小梯度，缓解
ReLU 死区问题。
PReLU（Parametric ReLU）
\[
\mathrm{PReLU}(x)=\begin{cases}
x,& x\ge 0\\
a x,& x<0
\end{cases}
\]
其中 \(a\)
为可学习参数。说明：比 Leaky 更灵活，但会增加参数。
ELU（Exponential Linear Unit）
\[
\mathrm{ELU}(x)=\begin{cases}
x,& x\ge0\\
\alpha (e^x-1),& x<0
\end{cases}
\]
说明：负区间趋近于 \(-\alpha\)，能加速学习并部分居中激活。
SELU（Scaled ELU）
\[
\mathrm{SELU}(x)=\lambda\begin{cases}
x,& x>0\\
\alpha(e^x-1),& x\le0
\end{cases}
\]
配套特殊初始化和网络结构可实现“自归一化”。
GELU（Gaussian Error Linear
Unit）
常用近似形式：
\[
\mathrm{GELU}(x)=x\cdot \Phi(x) \quad(\Phi \text{ 为标准正态 CDF})
\]
近似实现用：
\[
\mathrm{GELU}(x)\approx
\tfrac{x}{2}\left(1+\tanh\left[\sqrt{\tfrac{2}{\pi}}\left(x+0.044715x^3\right)\right]\right)
\]
说明：Transformer（BERT、GPT 系列）常用，表现优于 ReLU
的平滑替代。
Swish
\[
\mathrm{Swish}(x)=x\cdot\sigma(x)
\]
说明：平滑，有时比 ReLU/GELU
更好，特别在大模型里表现不错。
Mish
\[
\mathrm{Mish}(x)=x\tanh(\ln(1+e^x))
\]
说明：平滑、无界正区间，部分任务比 Swish/ELU
更优（但计算稍贵）。
Softplus（平滑 ReLU）
\[
\mathrm{Softplus}(x)=\ln(1+e^x)
\]
说明：可微分的 ReLU 近似；导数为 sigmoid。
Softmax（多类输出）
对于向量 \(z\in\mathbb{R}^K\)：
\[
\mathrm{Softmax}(z)_{i}=\frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}
\]
说明：把 logits 转为概率分布。数值稳定实现用 \(z-\max_j z_j\)（避免 exp 溢出）。
常用变体：Log-Softmax（用于 NLLLoss 的稳定实现）。
2. 损失函数 (Loss)
MSE（Mean Squared Error）
\[
L_{\mathrm{MSE}}=\frac{1}{n}\sum_{i=1}^n (y_i-\hat y_i)^2
\]
说明：回归常用；对离群点敏感（平方放大误差）。
MAE（Mean Absolute Error）
\[
L_{\mathrm{MAE}}=\frac{1}{n}\sum_{i=1}^n |y_i-\hat y_i|
\]
说明：对离群点更稳健，但导数在 0 点不可导（可用
subgradient）。
Huber Loss
\[
L_\delta(a)=
\begin{cases}
\frac{1}{2}a^2,& |a|\le\delta\\
\delta(|a|-\tfrac{1}{2}\delta),& |a|>\delta
\end{cases},\quad a=y-\hat y
\]
说明：MSE 与 MAE 的折中，常用于含异常点的回归。
Cross-Entropy（多类）
如果 \(y\) 为 one-hot，\(\hat p\) 为概率分布：
\[
L=-\sum_{i} y_i \log \hat p_i
\]
说明：分类任务最常用；通常与 softmax
一起使用。实现上常用 log-softmax + nll
以提高稳定性。
Binary Cross-Entropy /
BCEWithLogits
对二分类，若用 logits \(z\)：
\[
\mathrm{BCEWithLogits}(z,y) = -\big[y\log \sigma(z) +
(1-y)\log(1-\sigma(z))\big]
\]
实现提醒：用 BCEWithLogits（直接用 logits
而不是先 sigmoid）避免数值不稳定。
KL
Divergence（Kullback–Leibler）
连续形式或离散形式，例如离散分布 \(P,Q\)：
\[
D_{KL}(P|Q)=\sum_i P(i)\log\frac{P(i)}{Q(i)}
\]
说明：VAE、知识蒸馏中常见（作为正则/约束）。非对称。
NLL（Negative Log Likelihood）
分类时给定目标类别 \(y\) 与 log-prob
\(\log p(y)\)：
\[
L_{\mathrm{NLL}}=-\log p(y)
\]
常与 LogSoftmax 联用。
Hinge Loss（SVM）
\[
L_{\mathrm{hinge}}=\max(0, 1-y\cdot f(x))
\]
说明：二分类与 margin 的损失，常用于传统 SVM。
Focal Loss（处理类别不平衡）
\[
L_{\mathrm{focal}}=- (1-p_t)^\gamma \log(p_t)
\]
其中 \(p_t\) 是预测概率，\(\gamma>0\)
控制对困难样本的聚焦。常用于目标检测（如 RetinaNet）。
Contrastive / Triplet /
InfoNCE（表示学习）
- Triplet Loss（三元组）：
\[
L=\max\big(0,\; d(a,p)-d(a,n)+\alpha\big)
\]
其中 \(a\) 为 anchor，\(p\) positive，\(n\) negative，\(d(\cdot,\cdot)\) 距离，\(\alpha\) margin。
- InfoNCE（对比学习常见）（简化）：
\[
L=-\log\frac{\exp(\mathrm{sim}(z,z^+)/\tau)}{\sum_{i}\exp(\mathrm{sim}(z,z_i)/\tau)}
\]
\(\mathrm{sim}\) 常为余弦相似度，\(\tau\) 温度参数。
CTC Loss（连接时序分类）
用于对齐未知对齐标签（如语音识别）：数学形式复杂，通常使用动态规划实现（不可直接给出单行公式）。常用框架
API（如 ctc_loss）。
3. 正则化 /
其它防过拟合手段 (Regularization)
L2 正则化（权重衰减）
\[
\Omega_{L2}(w)=\lambda \sum_i w_i^2
\]
说明：促使参数变小，常与优化器一起实现（注意：PyTorch
的 weight_decay 与直接在 loss 加 L2 有细微实现差异）。
L1 正则化
\[
\Omega_{L1}(w)=\lambda \sum_i |w_i|
\]
说明：倾向稀疏权重（特征选择效果）。
Dropout
训练时对每个神经元使用 Bernoulli 随机掩码：
\[
\tilde h_i = \frac{h_i \cdot r_i}{1-p},\quad
r_i\sim\mathrm{Bernoulli}(1-p)
\]
说明：训练时随机丢弃，推理时按比例缩放或使用训练时的
scale。如上式为 inverted dropout（常用实现），训练-推理一致性更好。
Label Smoothing
将 one-hot 软化：
\[
y^{LS}_k=(1-\epsilon)\cdot \mathbf{1}_{k=y} + \frac{\epsilon}{K}
\]
说明：防止模型过度自信，常用于分类（Transformer
中常用）。
Spectral Normalization
对层权重做谱范数规范化（常用于 GAN 的判别器），控制 Lipschitz
常数，提升稳定性。
4. 归一化 / 标准化 函数
(Normalization)
Batch
Normalization（BatchNorm）
对 mini-batch 的每个特征维度 \(k\)：
\[
\hat x_k=\frac{x_k-\mu_k}{\sqrt{\sigma_k^2+\epsilon}},\quad y_k=\gamma_k
\hat x_k + \beta_k
\]
其中 \(\mu_k,\sigma_k^2\) 为 batch
均值与方差，\(\gamma,\beta\)
可学习。说明：加速训练，允许较大学习率；小 batch
时效果变差。
Layer
Normalization（LayerNorm）
对单个样本的特征维度归一：
\[
\hat
x=\frac{x-\mu_{\text{layer}}}{\sqrt{\sigma_{\text{layer}}^2+\epsilon}},\quad
y=\gamma\hat x+\beta
\]
说明：对 RNN 和 Transformer 更稳定（与 batch size
无关）。
InstanceNorm / GroupNorm
- InstanceNorm：对每个样本每个通道独立归一（常用于风格迁移）。
- GroupNorm：把通道分组后做归一，适合小 batch。
Weight Normalization /
RMSNorm
- WeightNorm：对权重向量做
reparam，提高训练稳定性。
- RMSNorm：只用 RMS
信息做归一（无需均值），计算更简单。
5. 初始化（权重初始分布）
Xavier / Glorot
初始化（均匀或正态）
针对激活函数对称（tanh）：
方差设定（正态）：
\[
\mathrm{Var}(w)=\frac{2}{n_\text{in}+n_\text{out}}
\]
说明：保持前向/反向传播方差平稳。
He / Kaiming 初始化
针对 ReLU：
\[
\mathrm{Var}(w)=\frac{2}{n_\text{in}}
\]
说明：ReLU 系列常用。
Orthogonal 初始化
令权重矩阵为正交矩阵（适用于 RNN、深层网络时稳定训练）。
6. 相似度 / 距离 函数
(Similarity / Distance)
点积（Dot product）
\[
\mathrm{dot}(x,y)=x^\top y
\]
用于注意力、向量相似度基础。
余弦相似度（Cosine）
\[
\mathrm{cosine}(x,y)=\frac{x^\top y}{|x||y|}
\]
说明：对向量长度不敏感，仅看角度方向。常用于检索/相似度评估。
欧氏距离（L2）
\[
d(x,y)=|x-y|_2=\sqrt{\sum_i (x_i-y_i)^2}
\]
曼哈顿距离（L1）
\[
d(x,y)=|x-y|_1=\sum_i |x_i-y_i|
\]
Mahalanobis 距离
\[
d_M(x,y)=\sqrt{(x-y)^\top S^{-1}(x-y)}
\]
其中 \(S\) 为协方差矩阵。
7. 注意力与位置编码
(Attention & PosEnc)
Scaled Dot-Product Attention
给 query \(Q\)、key \(K\)、value \(V\)：
\[
\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
\]
说明：\(\sqrt{d_k}\)
用于缩放以缓解点积随维度增长而变大导致 softmax 梯度消失的问题。
Multi-Head
Attention（概念公式）
\[
\mathrm{MultiHead}(Q,K,V)=\mathrm{Concat}(\text{head}_1,\dots,\text{head}_h)W^O
\]
\[
\text{head}_i=\mathrm{Attention}(QW_i^Q, KW_i^K, VW_i^V)
\]
对位置 \(pos\) 和维度 \(i\)：
\[
\begin{aligned}
PE_{(pos,2i)} &= \sin\left(\frac{pos}{10000^{2i/d}}\right)\\
PE_{(pos,2i+1)} &= \cos\left(\frac{pos}{10000^{2i/d}}\right)
\end{aligned}
\]
说明：为序列模型提供位置信息；也可用可学习的位置编码。
8.
优化器相关（优化器更新公式与学习率调度）
SGD（带或不带 momentum）
- SGD：
\[
w_{t+1}=w_t - \eta \nabla_w L(w_t)
\]
- Momentum：
\[
v_{t+1}=\mu v_t + \eta \nabla_w L(w_t),\quad w_{t+1}=w_t - v_{t+1}
\]
其中 \(\mu\) 是
momentum（惯性系数）。
Adam（自适应一阶优化器）
参数：\(\beta_1,\beta_2,\epsilon\)
\[
\begin{aligned}
m_t&=\beta_1 m_{t-1} + (1-\beta_1) g_t\\
v_t&=\beta_2 v_{t-1} + (1-\beta_2) g_t^2\\
\hat m_t&=\frac{m_t}{1-\beta_1^t},\quad \hat
v_t=\frac{v_t}{1-\beta_2^t}\\
w_{t+1}&=w_t - \eta \frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}
\end{aligned}
\]
说明：广泛用于 Transformer / 大模型训练。注意学习率与
weight decay 的配合（AdamW 推荐分离 weight decay）。
RMSProp / Adagrad
- Adagrad：历史梯度平方和累计，适合稀疏梯度。
- RMSProp：对平方梯度做指数平均，避免 Adagrad
的学习率过快衰减。
学习率调度（常见）
- Step decay：每 \(k\) 步降低 lr（乘以 gamma）。
- Exponential decay：\(\eta_t=\eta_0 e^{-kt}\).
- Cosine
annealing（无/有热重启）：常见于训练后期退火。
- Warmup：训练初期线性/指数升高 lr（Transformer
常用线性 warmup + 后续衰减）。
说明：大模型常用 linear warmup +
Adam + cosine decay 或
inverse sqrt 衰减。
9.
其它常见数学工具（数值稳定性等）
LogSumExp（数值稳定的
log-sum-exp）
\[
\log\sum_i e^{x_i} = m + \log\sum_i e^{x_i-m},\quad m=\max_i x_i
\]
说明：用于 stable softmax / log-likelihood
计算，避免溢出。
Softmax with Temperature
\[
\mathrm{softmax}_\tau(z)_i=\frac{e^{z_i/\tau}}{\sum_j e^{z_j/\tau}}
\]
\(\tau<1\) 使分布更尖锐，\(\tau>1\)
更平滑。常用于知识蒸馏或采样控制。
Gradient Clipping（梯度裁剪）
- 按值裁剪：\(g_i=\mathrm{clip}(g_i,-c,c)\)
- 按范数裁剪：若 \(|g|_2>c\)，则 \(g\leftarrow g\cdot \frac{c}{|g|_2}\)
说明：RNN / 大学习率下防止梯度爆炸。
小结
- 激活函数：Transformer/大模型 通常选 GELU 或
Swish；传统 CNN 常用
ReLU/LeakyReLU。
- 损失函数：分类用 Cross-Entropy/NLL；回归用
MSE/Huber；不平衡用 Focal。
- 归一化：Transformer 用 LayerNorm；CNN 多用
BatchNorm（但小 batch 时考虑 GroupNorm）。
- 优化器：大模型通常用 Adam / AdamW + 线性
Warmup + Cosine Decay。注意 weight decay 的实现方式（AdamW 与旧
Adam + L2 不同）。
- 数值稳定性：softmax/log-sum-exp、BCEWithLogits、log-softmax
等稳定实现非常重要。
- 调参实践：学习率、batch size、权重衰减、warmup
步数对大模型影响最大。
