汕头网站网店建设,静态网站开发与实施的论文,做logo那个网站,石碣网站仿做google提出的Widedeep模型#xff0c;将线性模型与DNN很好的结合起来#xff0c;在提高模型泛化能力的同时#xff0c;兼顾模型的记忆性。widedeep这种将线性模型与DNN的并行连接模式#xff0c;后来称为推荐领域的经典模式#xff0c;奠定了后面深度学习模型的…google提出的Widedeep模型将线性模型与DNN很好的结合起来在提高模型泛化能力的同时兼顾模型的记忆性。widedeep这种将线性模型与DNN的并行连接模式后来称为推荐领域的经典模式奠定了后面深度学习模型的基础。这个是一个里程碑的改变。 单层的wide层善于处理大量的稀疏的id类特征deep部分利用深层的特征交叉挖掘在特征背后的数据模式。
目录
1.wide部分
2.Deep部分
3.WideDeep
编辑 1.wide部分 wide部分训练的时候使用的优化器是带正则的FTRL算法(Follow-the-regularized-leader),FTRL可以理解为一个稀疏性很好精度又不错的随机梯度下降方法该算法是非常注重模型稀疏性质的因为Wide部分的大部分参数都为0这就大大压缩了模型权重及特征向量的维度。 Wide部分模型训练完之后留下来的特征都是非常重要的那么模型的记忆能力就可以理解为发现直接的”暴力的“”显然的“关联规则的能力。
因此wide部分使用FTRL算法原因是
1.压缩模型权重减少服务的时候存储要
2.来自工业上的经验对模型的实时更新更加有利能够在实时更新的时候尽量的加大实时的那部分数据对于参数更新的相应速度不至于用实时数据更新好久也没有更新动原来的大模型。
2.Deep部分 3.WideDeep
