建设文明网 联盟网站的,在线教育网站开发时长,中铁建设集团有限公司梅洪亮,网上购物app有哪些文章目录 1. 欧氏距离与L2范数1.1 常用的相似性度量 2. 什么是正则化#xff1f;参考资料 本文只介绍 L2 正则化。 1. 欧氏距离与L2范数
欧氏距离也就是L2范数
1.1 常用的相似性度量
1#xff09;点积 2#xff09;余弦相似度 3#xff09;L1和L2
2. 什么是正则化… 文章目录 1. 欧氏距离与L2范数1.1 常用的相似性度量 2. 什么是正则化参考资料 本文只介绍 L2 正则化。 1. 欧氏距离与L2范数
欧氏距离也就是L2范数
1.1 常用的相似性度量
1点积 2余弦相似度 3L1和L2
2. 什么是正则化
正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。 2.1 正则化如何影响模型复杂度 1losswb是 w 和 b 的函数。这里的 w 和 b 简单理解就是 y wxb 2机器学习本质损失函数找到最优解损失函数最小点。找最优解的过程就是参数 w 的不断梯度下降的过程。 即 w w - lr *loss对于w的梯度 其中lr是学习率。 3整个网络模型本身是 w 和 b 的函数b是偏置项不在正则化考虑范围内。所以正则化就是通过约束模型的参数w来限制模型的复杂度。
2.2 L2正则化为什么叫权重衰减 由上图可以看出相较于不使用正则化的权重更新加了正则化以后每次权重更新之前先让原来的 w 进行一次衰减。 这里的衰减率 a 是一个人为设置的超参数。
2.3 为什么权重衰减可以限制模型复杂度 1神经网络模型本质是在拟合一条曲线函数来完成不同类别的分类 曲线弯弯绕绕过拟合 曲线太平欠拟合 2所以要想找到合适的曲线函数可以按照泰勒展开来理解减少弯弯绕绕的过程就是降低高次项对于最终结果的影响。 3权重衰减其实就是不断限制 w 的取值范围。通过对于 w 的限制来约束高次项的影响。这里不做严格证明
参考资料
【1】https://www.bilibili.com/video/BV1gf4y1c7Gg/?spm_id_from333.337.search-card.all.clickvd_sourceb4732b5f7a12a21575a1d3423f81fe9c 【2】https://blog.csdn.net/Accelerating/article/details/108218719#%E6%AC%A7%E6%B0%8F%E8%B7%9D%E7%A6%BB 【3】相似性度量https://zhuanlan.zhihu.com/p/660426812
