通过特征空间中的二维投影观察分类器如何划分不同类别的区域
分类器在特征空间中划分的区域边界。线性分类器产生直线/超平面边界, 而神经网络可以学习任意非线性的复杂边界。
类别在特征空间中的分布决定了分类难度。类内紧密、类间分离是理想状态。 重叠区域是分类器易出错的地方。
实际高维数据通过 PCA 或 t-SNE 降至 2D 可视化。
降维可能丢失高维中的可分性信息,低维重叠不意味着高维不可分。
过于复杂的决策边界虽然能完美拟合训练数据,但对新数据泛化能力差。 适当的模型复杂度在拟合与泛化之间取得平衡。