企业网站cms源码,关于网站建设的实训报告,网站建设战略伙伴,南宁市城市建设档案馆网站本文介绍了 PingCAP 是如何用 Generative AI 构建一个使用企业专属知识库的用户助手机器人。除了使用业界常用的基于知识库的回答方法外#xff0c;还尝试使用模型在 few shot 方法下判断毒性。 最终#xff0c;该机器人在用户使用后#xff0c;点踩的比例低于 5%#xff0…本文介绍了 PingCAP 是如何用 Generative AI 构建一个使用企业专属知识库的用户助手机器人。除了使用业界常用的基于知识库的回答方法外还尝试使用模型在 few shot 方法下判断毒性。 最终该机器人在用户使用后点踩的比例低于 5%已经应用到了 TiDB 面向全球客户的各种渠道中。
Generative Al 的魔力已经展现
从 22 年开始Generative AI 后文称 GenAI在全球席卷了浪潮。 自 MidJourney ( https://www.midjourney.com/ ), DALL-E ( https://openai.com/dall-e-2 ) 带来了文字生成图片的火热再到 ChatGPT ( https://openai.com/chatgpt ) 以自然、流利的对话彻底引爆人们的视线GenAI 成为再也无法绕过的话题。 AI 是否能够在更通用的场景下支持人类更好的生活、工作成为了 23 年的核心话题之一。
其中LangChain ( https://www.langchain.com/ ) 等开发工具的崛起代表着工程师开始批量的创建基于 GenAI 的应用。PingCAP 也做了一些实验并且陆续完成了一些工作比如
● Ossingisht 的 Data Explorer ( https://ossinsight.io/explore/ )一个用自然语言生成 SQL 来探索 Github 开源软件的项目
● TiDB Cloud 的 Chat2Query ( https://docs.pingcap.com/tidbcloud/explore-data-with-chat2query )一个利用 Cloud 内数据库通过自然语言生成 SQL 的项目在构建了这些应用后笔者开始思考是否可以用 GenAI 的能力构建更通用的应用带给用户更大的价值。
需求思考
在全球 TiDB 和 TiDB Cloud 逐步成长下面向全球用户的支持成为越来越重要的事情。 而随着用户量的几何增长面向用户的支持人员数量并不会快速增长因此如何承接海量用户就成为急需考虑的事情。
根据实际支持用户的体验对用户在全球社区的提问以及内部工单系统的调研用户有 50% 以上的问题其实是可以在官方文档中找到答案只是因为文档内容太多难以找到。因此如果可以提供一个具有 TiDB 所有官方文档的知识的机器人也许可以帮助用户更好的使用 TiDB。
Generative Al 与需求实现的差距
发掘出需求后也需要了解 GenAI 的特性和限制以确认是否 Gen AI 能够用在此需求中。 根据已经完成的工作笔者可以总结出一些 Gen AI 的特性。 在这里Gen AI 主要指 GPT Generative Pre-trained Transformer 类模型以文本对话为主本文后续都以 GPT 来描述。
1 GPT 的能力
● 理解语义的能力 。GPT 具有极强的语义理解能力基本上可以无障碍理解任何文本。无论是何种语言人类语言或计算机语言何种表达水平的文本就算是多语言混杂或者是语法、用词错误都可以理解用户的提问。
● 逻辑推理的能力 。GPT 具体一定的逻辑推理能力在不额外增加任何特殊提示词情况下GPT 可以做出简单的推理并且挖掘出问题深层的内容。在补充了一定的提示词下GPT 可以做出更强的推理能力这些提示词的方法包括Few-shotChain-of-ThoughtCOTSelf-ConsistencyTree of thoughtTOT 等等。
● 尝试回答所有问题的能力 。GPT特别是 Chat 类型的 GPT如 GPT 3.5GPT 4一定会尝试用对话形式在满足设定价值观的情况下回答用户的所有问题就算是回答“我不能回答这个信息”。
● 通用知识的能力 。GPT 自身拥有海量的通用知识这些通用知识有较高的准确度并且覆盖范围很大。
● 多轮对话的能力 。GPT 可以根据设定好的角色理解不同角色之间的多次对话的含义这意味着可以在对话中采用追问形式而不是每一次对话都要把历史所有的关键信息都重复一遍。这种行为非常符合人类的思考和对话逻辑。
2 GPT 的限制
● 被动触发 。GPT 必须是用户给出一段内容才会回复内容。这意味着 GPT 本身不会主动发起交互。
● 知识过期 。这里特指 GPT 3.5 和 GPT 4二者的训练数据都截止于 2021 年 9 月意味着之后的知识GPT 是不知道的。不能期待 GPT 本身给你提供一个新的知识。
● 细分领域的幻觉 。虽然 GPT 在通用知识部分有优秀的能力但是在一个特定的知识领域比如笔者所在的数据库行业GPT 的大部分回答都存在着或多或少的错误无法直接采信。
● 对话长度 。GPT 每轮对话有着字符长度的限制因而如果提供给 GPT 超过字符长度的内容此次对话会失败。
3 需求实现的差距
笔者期望用 GPT 实现一个“企业专属的用户助手机器人”这意味着以下需求
● 需求一多轮对话形式理解用户的提问并且给出回答。
● 需求二回答的内容中关于 TiDB 和 TiDB Cloud 的内容需要正确无误。
● 需求三不能回答和 TiDB、TiDB Cloud 无关的内容。
对这些需求进行分析
● 需求一基本上可以满足根据 GPT 的“理解语义的能力”、“逻辑推理的能力”、“尝试回答问题的能力”、“上下文理解的能力”。
● 需求二无法满足。因为 GPT 的“知识过期”、“细分领域的幻觉”限制。
● 需求三无法满足。因为 GPT 的 “尝试回答所有问题的能力”任何问题都会回答并且 GPT 本身并不会限制回答非 TiDB 的问题。
因此在这个助手机器人构建中主要就是在解决需求二和需求三的问题。
正确回答细分领域知识
这里要解决需求二的问题。
如何让 GPT 根据特定领域知识回答用户的问题并不是新鲜的领域笔者之前的优化的 Ossinsight - Data Explorer 就使用特定领域知识帮助自然语言生成 SQL 的可执行率即生成的 SQL 可以成功的在 TiDB 中运行出结果提升了 25% 以上 。
这里需要运用到的是向量数据库的空间相似度搜索能力。一般分为三个步骤
1 领域知识存储到向量数据库中
第一步是将 TiDB ( https://docs.pingcap.com/tidb/stable ) 和 TiDB Cloud ( https://docs.pingcap.com/tidbcloud ) 的官方文档放入到向量数据库中。 获取到文档后将文字内容其放入 Embedding 模型中产出文字内容对应的向量并将这些向量放入到特定的向量数据库中。
在这一步中需要检查两点
● 如果文档的质量较差或者文档的格式不满足预期会事先对文档进行一轮预处理将文档转化为相对干净容易被 LLM 理解的文本格式。
● 如果文档较长超过 GPT 单次的对话长度就必须对文档进行裁剪以满足长度需要。裁剪方法有很多种比如按特定字符如逗号句号分号裁剪按文本长度裁剪等等。
2 从向量数据库中搜索相关内容
第二步是在用户提出问题的时候从向量数据库中根据用户问题搜索相关的文本内容。 当用户发起一次对话时系统会将用户的对话也通过 Embedding 模型转化成向量再将这个向量放到向量数据库中和原有的预料进行查询。查询过程中利用相似度算法比如cosine similaritydot-product等等计算最相似的领域知识向量并且提取出对应向量的文本内容。
用户的特定问题可能需要多篇文档才能回答所以在搜索过程中会取相似度最高的 Top N目前 N 是 5。这些 Top N 可以满足跨越多个文档的需要并且都会成为下一步提供给 GPT 的内容。
3 相关内容和用户提问一起提供给 GPT
第三步是组装所有的相关信息将其提供给 GPT。 将任务目标和相关的领域知识包含在系统提示词中并且根据历史对话组装好聊天历史。将所有内容一起提供给 GPT就可以得到基于这部分领域知识的特定回答。
在完成以上步骤我们就基本上可以满足需求二可以根据特定的领域知识回答问题回答正确性相比直接提问 GPT 有极大提升。
限定回答领域
这里要解决需求三的问题。
该机器人是作为企业支持能力提供给用户因此期望机器人只回答和企业相关的内容比如TiDB、TiDB Cloud 本身SQL 问题应用构建问题等等。如果超过这些范围就期望机器人拒绝回答比如天气、城市、艺术等等。
因为之前提到 GPT 的“尝试回答所有问题的能力”对于 GPT 本身的设定任何问题都应该要做出符合人类价值观的回复。所以这一层限制无法依赖 GPT 帮我们构建只能在应用侧尝试做限制。
只有做到了这个需求一个业务才可能真正的上线对用户服务。遗憾的是目前工业界没有对此比较好的实现大部分的应用设计中并不涉及这一部分内容。
1 概念毒性
刚刚提到GPT 其实会尝试让回答符合人类的价值观这步工作在模型训练中叫做“对齐”Align让 GPT 拒绝回答仇恨、暴力相关的问题。如果 GPT 未按照设定回答了仇恨、暴力相关问题就称之为检测出了毒性Toxicity。
因此对于笔者即将创造的机器人其毒性的范围实际上增加了即所有回答了非公司业务的内容都可以称之为存在毒性。在此定义下我们就可以参考前人在去毒Detoxifying方面的工作。DeepMind 的 Johannes Welbl ( https://aclanthology.org/2021.findings-emnlp.210.pdf ) 2021等人介绍了可以采用语言模型来做为毒性检测的方式目前GPT 的能力得到了足够的加强用 GPT 来直接判断用户的提问是否属于公司业务范围成为了可能。
要做到“限定回答领域”需要有两个步骤。
2 限定领域的判断
第一步需要对用户的原始提问进行判断。 这里需要使用 few shot 的方法去构建毒性检测的提示词让 GPT 在拥有多个示例的情况下判断用户的提问是否符合企业服务的范围。
比如一些示例 EXAMPLES
instruction: who is Lady Gaga?
question: is the instruction out of scope (not related with TiDB)?
answer: YES
instruction: how to deploy a TiDB cluster?
question: is the instruction out of scope (not related with TiDB)?
answer: NO
instruction: how to use TiDB Cloud?
question: is the instruction out of scope (not related with TiDB)?
answer: NO
在判断完成后GPT 会输入 Yes 或 No 的文字供后续流程处理。注意这里 Yes 意味着有毒和业务不相关No 意味着无毒和业务有关。
第二步得到了是否有毒的结果后我们将有毒和无毒的流程分支进行异常流程和正常流程的处理。 正常流程就是上文中的 正确回答细分领域知识相关内容此处主要说明异常内容的流程。
当系统发现产出的内容是 “Yes” 时会引导流程进入毒性内容回复流程。此时会将一个拒绝回答用户问题的系统提示词和用户对应的问题提交给 GPT最终用户会得到一个拒绝回答的回复。
当完成这两步后需求三基本完成。
整体逻辑架构 至此我们得到了一个基本可以提供给用户的具有特定企业领域知识的助手机器人。这机器人我们称之为 TiDB Bot。
TiDB Bot 上线后效果
从 3 月 30 日起TiDB Bot 就开始进行内部测试直到 7 月 11 日正式对 Cloud 的用户开放。
在 TiDB Bot 孵化的 103 天来感谢无数的社区、开发者对测试产品提出的反馈让 TiDB Bot 逐步变得可用。在测试阶段一共 249 名用户使用发送了 4570 条信息。到测试阶段完成为止共有 83 名用户给出了 266 条反馈其中点踩的反馈占总信息数的 3.4%点赞的反馈占总信息数的 2.1%。
除了直接使用的社区用户还有提出建议和思路的用户给出更多解决方案的社区用户。感谢所有的社区和开发者没有你们就没有 TiDB Bot 产品发布。
后续
随着用户量逐渐增加无论是召回内容的准确性、毒性判断的成功都依然有不小的挑战因此笔者在实际提供服务中对 TiDB Bot 的准确度进行优化稳步提升回答效果。 这些内容将在后续的文章中介绍。
