物业管理网站开发背景,网页美工设计主要从哪些方面设计,wordpress邮箱验证配置,360建筑网如何注销账号1 word Embedding
原始的单词编码方式#xff1a; one-hot#xff0c;维度太大#xff0c;不同单词之间相互独立#xff0c;没有远近关系区分。 wordclass#xff0c;将同一类单词编码在一起#xff0c;此时丢失了类别和类别间的相关信息#xff0c;比如class1和class3…1 word Embedding
原始的单词编码方式 one-hot维度太大不同单词之间相互独立没有远近关系区分。 wordclass将同一类单词编码在一起此时丢失了类别和类别间的相关信息比如class1和class3都属于生物
word Embedding编码方式 将每个word映射到高维向量上
1.1 word Embedding方式
word Embedding主要有两种方法 count based 通过阅读大量的文章比较不同的词汇后面跟随的内容一致性判断该两个词汇的相关性。 例乔丹在NBA打球《》科比在NBA打球
prediction based 如下图输入为Wi-1这个单词通过神经网络输出为不同的词汇中下个单词为Wi的概率。 取第一个隐藏层 Z作为word的编码
由于只依靠前一个单词预测后面的单词这很困难因此可以选择前面的多个单词来预测后面的单词。 我们将输入的单词Xi-2和Xi-1
