损失函数（Loss Function）是机器学习中的核心概念，用于衡量模型的预测值与实际值之间的差异。损失函数的选择对模型的训练效果和最终性能有着直接的影响。以下是一些常见的损失函数及其应用场景：
1. 均方误差损失（MSE, Mean Squared Error）
均方误差损失是最常用的回归问题损失函数之一。它计算预测值与实际值差的平方，然后取平均。MSE的形式为： [ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 ] 其中，( n ) 是样本数量，( y_i ) 是第 ( i ) 个样本的实际值，( \hat{y}_i ) 是预测值。
2. 均方根误差损失（RMSE, Root Mean Squared Error）
均方根误差损失是MSE的平方根，同样用于衡量预测值与实际值之间的差异。RMSE的形式为： [ \text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2} ]
3. 平均绝对误差损失（MAE, Mean Absolute Error）
平均绝对误差损失计算预测值与实际值差的绝对值的平均。MAE的形式为： [ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n}|y_i - \hat{y}_i| ]
4. 交叉熵损失（Cross-Entropy Loss）
交叉熵损失常用于分类问题，尤其是二分类和多分类问题。它衡量的是模型输出的概率分布与真实标签的概率分布之间的差异。二分类问题的交叉熵损失形式为： [ \text{CE} = -\left(y_i \log(\hat{y}_i) (1 - y_i) \log(1 - \hat{y}_i)\right) ]
5. 对数损失（Log Loss）
对数损失是交叉熵损失的另一种叫法，特别是在二分类问题中。它惩罚错误的预测，且对于极端错误的预测给予更大的惩罚。
6. Hinge损失（Hinge Loss）
Hinge损失常用于支持向量机（SVM）中，用于最大化决策边界。Hinge损失的形式为： [ \text{Hinge} = \max(0, 1 - y_i \cdot \hat{y}_i) ]
7. Huber损失（Huber Loss）
Huber损失是MSE和MAE的结合体，对于较小的误差采用平方计算，对于较大的误差采用线性计算，形式为： [ \text{Huber} = \begin{cases} \frac{1}{2}(y_i - \hat{y}_i)^2
