上交所大宗交易平台,做seo的网站有那些,网站开发工程师需要哪些技术,风中有朵雨做的云电影网站一. embedding 简单来说#xff0c;embedding就是用一个低维的向量表示一个物体#xff0c;可以是一个词#xff0c;或是一个商品#xff0c;或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义#xff0c;比如 Embedding(复仇者联盟)…一. embedding 简单来说embedding就是用一个低维的向量表示一个物体可以是一个词或是一个商品或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。 除此之外Embedding甚至还具有数学运算的关系比如Embedding马德里-Embedding西班牙Embedding(法国)≈Embedding(巴黎) 从另外一个空间表达物体甚至揭示了物体间的潜在关系上次体会这样神奇的操作还是在学习傅里叶变换的时候从某种意义上来说Embedding方法甚至具备了一些本体论的哲学意义。
Embedding在大模型中的价值
前面说的其实都是Embedding在之前的价值。但是大语言模型时代例如ChatGPT这样的模型流行之后大家发现embedding有了新的价值即解决大模型的输入限制。
此前OpenAI官方也发布了一个案例即如何使用embedding来解决长文本输入问题我们DataLearner官方博客也介绍了这个教程OpenAI官方教程如何使用基于embeddings检索来解决GPT无法处理长文本和最新数据的问题 | 数据学习者官方网站(Datalearner)
像 GPT-3 这样的语言模型有一个限制即它们可以处理的输入文本量有限。这个限制通常在几千到数万个tokens之间具体取决于模型架构和可用的硬件资源。
这意味着对于更长的文本例如整本书或长文章可能无法一次将所有文本输入到语言模型中。在这种情况下文本必须被分成较小的块或“片段”可以由语言模型单独处理。但是这种分段可能会导致输出的上下文连贯性和整体连贯性问题从而降低生成文本的质量。
这就是Embedding的重要性所在。通过将单词和短语表示为高维向量Embedding允许语言模型以紧凑高效的方式编码输入文本的上下文信息。然后模型可以使用这些上下文信息来生成更连贯和上下文适当的输出文本即使输入文本被分成多个片段。
此外可以在大量文本数据上预训练Embedding然后在小型数据集上进行微调这有助于提高语言模型在各种自然语言处理应用程序中的准确性和效率。
如何基于Embedding让大模型解决长文本如PDF的输入问题
这里我们给一个案例来说明如何用Embedding来让ChatGPT回答超长文本中的问题。
如前所述大多数大语言模型都无法处理过长的文本。除非是GPT-4-32K否则大多数模型如ChatGPT的输入都很有限。假设此时你有一个很长的PDF那么你该如何让大模型“读懂”这个PDF呢
首先你可以基于这个PDF来创建向量embedding并在数据库中存储当前已经有一些很不错的向量数据库了如Pinecone。
接下来假设你想问个问题“这个文档中关于xxx是如何讨论的”。那么此时你有2个向量embedding了一个是你的问题embedding一个是之前PDF的embedding。此时你应该基于你的问题embedding去向量数据库中搜索PDF中与问题embedding最相似的embedding。然后把你的问题embedding和检索的得到的最相似的embedding一起给ChatGPT然后让ChatGPT来回答。
当然你也可以针对问题和检索得到的embedding做一些提示工程来优化ChatGPT的回答。
二、大模型
机器学习基础
• 从 学习所用的数据 分类 • 无 监督学习 无需标注的数据即可学习通常用于聚类一堆点如何分为 N 类 • 监督学习 利用标注过的数据如已知 N 套房子的大小和价格大部分都是如此 • 半监督学习 少量标注过的数据大部分是未标注数据 • 自监督学习从未标注数据中自行挖掘出可用于监督的数据 ChatGPT 的做法 • 强化学习 通过正向或负向反馈来学习调整 • 从 要达成的效果 分类 • 聚类预先不知道要分成几类距离相近的自动成为一类 • 分类从若干类别中识别出所属的特定类别 • 回归通过已知值给出预测值如例子中的房价预测 • 翻译从一种形式转换为另一种形式 • 生成根据概率分布生成与原始数据类似的新数据 • 具体 的 算法 • 线性回归 • 贝叶斯 • SVM • 决策树 • 随机森林 • 神经网络 深度神经网络就是深度学习也是当前一切 AI 的基础 • 何为深度至少应有两个隐藏层 深度学习
通过构建和训练深层神经网络来学习和提取数据中的特征从而实现高度自动化和准确性能的模型训练和预测。
深度学习和大模型 大模型技术通常与深度学习相结合因为深度学习网络通常具有大量的参数和复杂的结构。大模型技术通过增加模型的规模和容量例如增加网络层数、神经元的数量或卷积核的大小以增强模型的表达能力和学习性能。大模型技术还包括优化算法和训练策略以有效地训练和优化这些庞大的深度学习模型。
大模型概念 预训练是指在大规模的未标记数据上进行的初始化模型训练阶段。模型通过对大量的文本数据进行自监督学习学习到语言的各种结构和表达方式。预训练的目标是让模型能够在下游任务中具有更好的理解和表达能力。预训练通常是通过自编码器或掩码语言建模的方式进行其中模型要根据上下文预测缺失的词或片段。 微调 微调是在预训练完成后将预训练模型应用于特定任务并进行有监督的训练的过程。在微调阶段模型使用标记的训练数据进行进一步的训练以适应特定任务的要求。微调以较低的学习率进行以避免过度调整预训练模型的参数从而保留预训练模型所学到的知识。通常微调的数据集规模相对较小因此可以使用更少的计算资源和时间来完成。 语料 语料是指用于模型训练的文本数据集。对于预训练大模型来说用于预训练的语料库通常是非常庞大的例如大规模的网页文本、维基百科、书籍、新闻等。预训练模型需要处理大量的语料来学习普遍的语言知识。对于微调阶段语料可以是特定任务的标记训练集。
预训练、微调和语料是在大型NLP模型中实现强大性能的重要因素。通过预训练技术模型可以从大量无监督的数据中学习语言特征从而提高模型的泛化能力。通过微调过程模型可以将预训练知识转移到特定任务中并根据特定任务的训练数据进行细化调整。同时使用多样化且广泛的语料库可以提高模型对不同领域和上下文的理解能力。
需要注意的是预训练和微调的过程是基于大量的计算资源和大规模的数据集进行的。这也导致了建立和训练大型模型的门槛相对较高并且模型可能带来较大的计算和存储要求。
三、LangChain
参考什么是LangChain - 知乎
LangChain是一个开源框架允许从事人工智能的开发者将例如GPT-4的大语言模型与外部计算和数据来源结合起来。该框架目前以Python或JavaScript包的形式提供。
假设你想从你自己的数据、文件中具体了解一些情况可以是一本书、一个pdf文件、一个包含专有信息的数据库。LangChain可以将GPT-4和这些外部数据连接起来甚至可以让LangChain帮助你采取你想采取的行动例如发一封邮件。
三个重要概念
Components
-LLM Wrapper包装器允许我们连接到大语言模型例如GPT-4或HuggingFace的模型。
-Prompt Templates提示模板使我们不必对文本进行硬编码而文本是LLM的输入。
-Indexes for relevant information retrieval相关内容的索引允许我们为LLM提取相关信息。
Chains
允许我们将多个组件组合在一起以解决一个特定的任务并建立一个完整的LLM应用程序。
Agents
允许LLM与外部API互动。 二、 原理
将你的文件切成小块把这些小块存储在一个矢量数据库中这些块被存储为embedding意味着它们是文本的矢量表示。 pipeline执行流程
一个用户提出了初始问题。
然后这个问题被发送到大语言模型并将该问题的向量表示在向量数据库中做相似性搜索。
获取相关的信息块将其反馈给大语言模型。
大语言模型通过初始问题和来自矢量数据库的相关信息提供一个答案或采取一个行动。
