做网站公司会场主持台词,个人网站建设代码,ps网站首页设计,缪斯国际设计董事长自然语言处理#xff08;NLP#xff09; 是对使计算机能够处理、分析、解释和推理人类语言的技术和工具的研究和应用。 NLP 是一个跨学科领域#xff0c;它结合了语言学和计算机科学等领域已建立的技术。 这些技术与人工智能结合使用来创建聊天机器人和数字助理#xff0c;…
自然语言处理NLP 是对使计算机能够处理、分析、解释和推理人类语言的技术和工具的研究和应用。 NLP 是一个跨学科领域它结合了语言学和计算机科学等领域已建立的技术。 这些技术与人工智能结合使用来创建聊天机器人和数字助理例如 Google Assistant 和亚马逊的 Alexa。
让我们花一些时间来探讨自然语言处理背后的基本原理、NLP 中使用的一些技术以及 NLP 的一些常见用例。
为什么自然语言处理 (NLP) 很重要
为了让计算机解释人类语言必须将它们转换成计算机可以操作的形式。 然而这并不像将文本数据转换为数字那么简单。 为了从人类语言中获取含义必须从构成文本文档的数百或数千个单词中提取模式。 这不是一件容易的事。 几乎没有什么硬性规则可以应用于人类语言的解释。 例如根据上下文的不同完全相同的一组单词可能意味着不同的事物。 人类语言是一种复杂且常常含糊不清的东西一个陈述可以是真诚的也可以是讽刺的。
尽管如此在解释单词和字符时可以使用一些通用准则例如字符“s”用于表示某个项目是复数。这些一般准则必须相互配合使用才能从文本中提取含义创建机器学习算法可以解释的特征。
自然语言处理涉及能够获取非结构化数据并将其转换为结构化数据的各种算法的应用。如果这些算法以错误的方式应用计算机通常无法从文本中得出正确的含义。这通常可以在不同语言之间的文本翻译中看到其中句子的精确含义经常会丢失。尽管机器翻译在过去几年里有了很大的进步但机器翻译错误仍然频繁发生。
自然语言处理 (NLP) 技术 照片 Tamur 来自 WikiMedia Commons公共领域 (https://commons.wikimedia.org/wiki/File:ParseTree.svg)
许多 技术 自然语言处理中使用的术语可以分为两类之一语法或语义。 语法技术是处理单词顺序的技术而语义技术是涉及单词含义的技术。
语法 NLP 技术
语法示例包括
合法化形态分割词性标注解析断句词干分词
词形还原是指将单词的不同变形提炼为单一形式。 词形还原将时态和复数等事物简化例如“feet”可能变成“foot”“stripes”可能变成“stripe”。 这种简化的单词形式使算法更容易解释文档中的单词。
形态分割是将单词划分为词素或单词的基本单位的过程。 这些单位都是免费的 语素 可以单独作为单词和前缀或后缀。
词性标注 只是识别输入文档中每个单词属于哪个词性的过程。
解析 是指分析句子中的所有单词并将它们与其正式语法标签相关联或对所有单词进行语法分析。
断句或 句子边界分割 指决定句子的开始和结束位置。
词干 是将单词简化为单词的根形式的过程。 例如connected、connection、connections 都会被词干为“connect”。
分词 是将大块文本分成小单元的过程这些小单元可以是单词或词干/词形还原单元。
语义 NLP 技术
语义 NLP 技术包括以下技术
命名实体识别自然语言生成词义消歧
命名实体识别 涉及标记某些可以放入多个不同预设组之一的文本部分。 预定义的类别包括日期、城市、地点、公司和个人等。
自然语言生成 是使用数据库将结构化数据转换为自然语言的过程。 例如有关天气的统计数据如温度和风速可以用自然语言进行概括。
词义消歧是根据单词出现的上下文为文本中的单词赋予含义的过程。
NLP 深度学习模型
常规多层感知器无法处理顺序数据的解释其中信息的顺序很重要。 为了处理顺序数据中顺序的重要性使用了一种神经网络来保留训练中先前时间步的信息。
递归神经网络 神经网络的类型 循环之前时间步的数据在计算当前时间步长的权重时将它们考虑在内。本质上RNN 具有在前向训练过程中使用的三个参数基于先前隐藏状态的矩阵、基于当前输入的矩阵以及隐藏状态和输出之间的矩阵。由于 RNN 可以考虑之前时间步的信息因此在解释单词的含义时它们可以通过考虑句子中较早的单词来从文本数据中提取相关模式。
另一种用于处理文本数据的深度学习架构是 长短期记忆 (LSTM) 网络。 LSTM 网络在结构上与 RNN 相似但由于其架构上的一些差异它们往往比 RNN 表现得更好。 它们避免了使用 RNN 时经常出现的一个特定问题称为 梯度爆炸问题。
这些深度神经网络可以是单向的也可以是双向的。 双向网络不仅能够考虑当前单词之前的单词还能够考虑当前单词之后的单词。 虽然这会带来更高的精度但计算成本更高。
自然语言处理 (NLP) 用例 由于自然语言处理涉及人类语言的分析和操作因此它具有极其广泛的应用范围。 NLP 的可能应用包括聊天机器人、数字助理、情绪分析、文档组织、人才招聘和医疗保健。
聊天机器人和数字助理例如亚马逊的 Alexa 和 Google Assistant是语音识别和合成平台的示例它们使用 NLP 来解释和响应声音命令。 这些数字助理可以帮助人们完成各种任务让他们将一些认知任务转移到另一台设备上并释放一些脑力来处理其他更重要的事情。 我们可以让我们的数字助理来做这件事而不是在忙碌的早晨查找去银行的最佳路线。
情绪分析 是使用 NLP 技术来研究人们对某种现象的反应和感受并通过他们使用语言来传达。 捕捉声明的情绪例如解释产品评论是好是坏可以为公司提供有关其产品如何被接受的大量信息。
自动组织文本文档是 NLP 的另一个应用。 谷歌和雅虎等公司使用 NLP 算法对电子邮件文档进行分类将它们放入适当的分类中例如“社交”或“促销”。 他们还使用这些技术 识别垃圾邮件 并阻止它到达您的收件箱。
一些团体还开发了 NLP 技术用于识别潜在的职位招聘并根据相关技能找到他们。 招聘经理还使用 NLP 技术来帮助他们对申请人列表进行排序。
NLP 技术也被用于增强医疗保健。 NLP 可用于改善疾病的检测。 可以通过 NLP 算法分析健康记录并提取症状然后用于建议可能的诊断。 亚马逊的 Comprehend Medical 平台就是一个例子该平台可以分析健康记录并提取疾病和治疗方法。 NLP 的医疗保健应用还扩展到心理健康。 有应用程序 比如沃博t它向用户介绍了基于认知行为疗法的各种焦虑管理技术。
