作者：SimonCarbonnelle等机器之心编译参与：GeekAI、思什么样的模型泛化性能比较好，什么样的操作真的能带来泛化性，我们真的对泛化有明确定义吗？也许只要扭一扭权重，泛化就能明确地展示在我们面前。在最近的一项工作中，大量的实验证据表明层旋转（即在训练时神经网络每一层与其初始状态之间的余弦距离的变化）构成了一种强大而稳定的衡量泛化性能的指标。尤其是当每一层最终的权值和初始权值之间的余弦距离越大时，总能使得最终模型的泛化性能越好。论文：Layerrotation:asurprisinglypowerfulindicatorofgeneralizationindeepnetworks?论文

转载请注明:http://www.aideyishus.com/lkyy/6255.html