建设网站的体会,wordpress 创建页面,手机网站整站下载,云南微网站建设的公司有哪些如何激发模型的能力 提示词 promotCoTRL 增强式学习Reforcement learning提供更多的资料提供一些范例Incontext- learning 任务拆解让模型自己检查错误让模型多次生成答案Tree of Thoughts让模型使用其他工具RAG写程序POT其他工具 让多个模型合作参考 在模型不变的情况下#… 如何激发模型的能力 提示词 promotCoTRL 增强式学习Reforcement learning提供更多的资料提供一些范例Incontext- learning 任务拆解让模型自己检查错误让模型多次生成答案Tree of Thoughts让模型使用其他工具RAG写程序POT其他工具 让多个模型合作参考 在模型不变的情况下我们可以做什么事情来增强模型的能力呢
提示词 promot
上文也讲过有一些神奇的咒语在不改变模型的情况下只要在跟模型对话的时候加上这些提示词可以让模型的能力得到增强。 具体的方法有如下
CoT
chain of Thought的缩写就是让模型思考一下的意思22年曾经专门有人总结了一些神奇的咒语下面是一个论文中举出的这些提示词 其中Zero-shot的意思是不加任何提示词这时候得分只有17.7分但是如果你告诉把问题加上lets think step by step 那得分就忽然猛增到78.7。
所以激发模型的一个好的做法就是告诉模型解释一下这个答案。。 那有人会怀疑这些个神奇咒语会不会是个例呢答案是并不是。https://arxiv.org/pdf/2307.11760 这篇论文专门研究了大型语言模型的情绪勒索问题就是对话的时候告诉模型这个问题对我很重要结果不同的大型模型的准确率直线上升。 举个例子帮我写一篇论文…具体要求这篇论文对我很重要。 此外也有人专门为大语言模型做了一些总结
对模型客气是没有用的要明确告诉模型需要做什么不要跟它说不要做什么跟它说如果做不好你就会受到惩罚。 等等https://arxiv.org/abs/2312.16171 上有专门的总结
但是要说明的是上面这些提示词也并不是所有模型都有用比方说GPT-4不需要跟它说step by step,它也会一步步的思索。加上以后正确性也不会提升。
那这些神奇咒语有没有自动化学习的方法呢那就是RL增强式学习
RL 增强式学习Reforcement learning 训练一个模型产生咒语然后输入模型评估结果好坏。根据评估的结果又来调整咒语最终会获取那些有用的咒语。最终出来的很多有用的咒语确实是神奇的人类无法理解的。比如GPT3上一个神奇的咒语是ways ways ways…
提供更多的资料
上面这些都有失效的时候所以要给前提 给额外的资料 提供一些范例
提供一些范例Incontext- learning
比如你要做情感分析你可以举个例子 今天电影好看 正面 。今天天气不好 负面。然后再给他资料看他就可以做出正确的回答。 但是这件事情背后有些需要思考的问题。模型不是仅仅是文字接龙的么模型是真的能看懂这些范例么 答案是不一定。 有专门的论文来实验过。把那些举例的答案写反了比如正面的写负面一些小型的语言模型还是答对了。这就说明了他们其实是不能理解这些范例。当然再后来也有人在更大的模型上实验发现给他错误的范例大模型确实能够输出错误的答案 任务拆解
今天我们在用CHAT-GPT写一篇长篇小说的时候他往往还是写不好但是可以把他拆解成更小的任务比如先告诉他列出提纲然后再把每一步详细列示。很可能写着写着GPT会忘记以前的背景所以我们写完之前的就可以把前面的抽取摘要作为输入继续生成。
让模型自己检查错误 这可能么 答案是可能的对于模型来说产生答案困难但是验证答案反而是更简单的对于大型的一些模型来说是可以检查出来的。 总体来说让模型自己检查错误也是可以增强模型的能力。
让模型多次生成答案
由于模型是确定的针对模型的输入模型输出词库中每个神经元的输出是固定的但是为什么每次我们拿到的模型的输出都是不一样的呢因为生成是固定的但是每次要把哪个输出出来确不一定比方说我们输入中国最 那输出高、远、深。。一堆字的概率都是50%以上那选择哪一个就是随机的了。 既然每次答案都不一样那还有一种可能就是让模型多次输出然后取出现频率最高的那个答案。
Tree of Thoughts
它实际上就是上述所有方式的组合 如图上面的步骤
让模型拆成多个步骤每个步骤给出多个答案。每个答案都让模型检查一下结果是否正确。如果都不正确回到上一个步骤找另外的一个答案的正确的回答
依次类推直到生成正确的答案
让模型使用其他工具
RAG
Retrieval Augmented Generation也是不需要训练语言模型先从自己的资料库搜寻到资料然后输入加上那些资料内容那模型的能力会忽然大大加强得到 与众不同的结果。 比如你可以可以让模型先去网络搜索一下然后再继续回答。
写程序POT
Program of Thought举个例子GPT不擅长做计算题但是GPT-4以后可以把输入格式成一个程序调用现成python库来执行最后给出正确的答案
其他工具
chat-gpt目前已经有上千种插件了
让多个模型合作
合作的方式可能有多种
使用不同能力的模型回答问题 不同的模型擅长的能力不一样真正回答问题的可能有多个模型我们可训练一个模型来选择使用哪个模型来回答这个问题FrugalGPT 就可以实现这个功能。让多个模型之间讨论 模型A输出以后可以再去咨询模型B是否有更好的回答
参考
李宏毅 生成式人工智能导论
