东莞网站设计企业,网站备案核验点 上海,上海外贸网,外包网络优化词表示
把自然语言中最基本的语言单元——词转换为机器能够理解的 词表示能完成以下两个能力
词相似度计算 词与词之间语义的关系
近义词上位词 使用近义词或上位词表示的问题 遗漏差异 遗漏新的释义 带有主观性 数据吸收 需要大量人工构建
One-Hot Representation
…词表示
把自然语言中最基本的语言单元——词转换为机器能够理解的 词表示能完成以下两个能力
词相似度计算 词与词之间语义的关系
近义词上位词 使用近义词或上位词表示的问题 遗漏差异 遗漏新的释义 带有主观性 数据吸收 需要大量人工构建
One-Hot Representation
常用的把每个词表示成一个独立的符号
One-Hot Representation的问题
假设词与词之间的向量是正交的所以任意两个词进行相似的计算都等于零
represent word by context
为了解决上面的问题所谓的contextual representation 上下文表示 利用这个词的上下文来表示这个词例如要表示下图中的star从上下文中找出一些词shining\cold\night
Co-Occurrence Counts
使用向量表示的是这个词的上下文到底出现了多少次 得到上下文词的稠密的向量在这个空间里利用稠密的向量计算词之间的相似度
Co-Occurrence Counts的问题
词表变得越来越大存储的需求也就变得特别大 对于出现频度特别少的词它的上下文或者语境的词变得很稀疏影响对词的表示效果
Word Embedding
分布式表示 建立起一个低维的稠密的向量空间把每个词都学到这个空间里面用这个空间里面的某一个位置所对应的向量来表示词。在这个空间里就可以自动得学习出来一些国家和首都存在一些相对稳定的关系见下图。这种低维向量可以利用大规模的数据自动去学习的。 代表性工作Word2Vec
NLP Basic Language Modeling
语言模型能有能力根据前文去预测下一个词到底是什么 机器能够学习语言模型就能更好理解词的意思也能更好地做出回复 语言模型的能力 1.去计算一个序列的词成为一句话的概率是多大联合概率 2.根据前面的句子预测下面要说的话 如何达到上面的能力 假设未来的词只会受到前面词的影响 一个句子的联合概率等于前面已经出现的词的条件概率之积 如何进行语言模型的构建
N-gram Model
对 language model一个具体的建模 统计前面出现了几个词之后后面出现的那个词的频度 N-gram背后大致遵守markov的假设 一个联合概率只考虑前面有限的几个词
N-gram的问题
1.在实际使用中一般只使用N等于1或2没有考虑更长的上下文 2.没有办法误理解这些词之间的相似度
Neural Languge Model
分布式表示来建构这种前文和当前词的预测条件概率
