AI摘要：本文介绍了机器学习中的各种损失函数，包括交叉熵、二元交叉熵、分类交叉熵、稀疏分类交叉熵、泊松损失、相对熵、焦点损失、GIoU、均方差、平均绝对误差百分比、均方对数误差和余弦相似度。这些损失函数在不同的场景下有不同的应用，如二元交叉熵适用于二分类问题，而焦点损失则适用于不平衡数据和目标检测的分类问题。

Powered by AISummary.

交叉熵 Cross Entropy

二元交叉熵 Binary Cross Entropy

二分类激活函数：sigmoid
预测值为浮点数，预测值范围为无穷大，使用参数 from_logits=True

分类交叉熵 Categorical Crossentropy

激活函数：softmax

标签以独热编码 one_hot 的形式给出

稀疏分类交叉熵 Sparse Categorical Crossentropy

激活函数：softmax

计算真实值与预测值之间的交叉熵损失，标签以整数 int 的形式给出

泊松损失 Poisson

激活函数：softmax

适用于符合泊松分布的数据集，如呼叫中心每小时接到的电话数

相对熵 Kullback-Leibler Divergence Loss

激活函数：softmax

也称KL散度，是连续分布的一种距离度量，通常在离散采样连续输出分布空间上直接回归。

焦点损失 Focal Loss

适用于涉及不平衡数据和目标检测的分类问题，它弱化了分类良好的样本而侧重于难以分类的样本。

与分类良好的样本对应的损失值相比，被分类器误分类的样本的损失值要高得多。

焦点损失的经典用例是背景类和其他类的多分类问题。

GIoU Generalized Intersection over Union

是对 IoU 进行目标检测的一种改进，适用于不重叠边界框的问题

均方差 Mean Squared Error

计算真实值和预测值之间的误差的平方平均值，适用于大误差比小误差更受惩罚的情况。

平均绝对误差百分比 Mean Absolute Percentage Error

均方对数误差 Mean Squared Logarithmic Error

对低估的惩罚要大于高估，适用于处理离群值。

余弦相似度 Cosine Similarity Loss

结果是 -1 到 1 之间的数，越接近 -1 越相似