哪个网站做阿里首页模板,最新新闻热点事件2023,网站建设 规范,微信客户端官网240708_昇思学习打卡-Day20-MindNLP ChatGLM-6B StreamChat
基于MindNLP和ChatGLM-6B实现一个聊天应用#xff0c;本文进行简单记录。
环境配置
%%capture captured_output
# 实验环境已经预装了mindspore2.2.14#xff0c;如需更换mindspore版本#xff0c;可更改下面mi…240708_昇思学习打卡-Day20-MindNLP ChatGLM-6B StreamChat
基于MindNLP和ChatGLM-6B实现一个聊天应用本文进行简单记录。
环境配置
%%capture captured_output
# 实验环境已经预装了mindspore2.2.14如需更换mindspore版本可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore2.2.14配置网络线路
!export HF_ENDPOINThttps://hf-mirror.com代码开发
# 导入自动模型和自动分词器类用于序列到序列的语言模型任务
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
# 导入Gradio库用于构建交互式用户界面
import gradio as gr
# 导入mdtex2html模块可能用于将markdown格式的文本转换为HTML
import mdtex2html# 初始化一个预训练的序列到序列语言模型这里使用的是ChatGLM-6B模型
# 从预先定义的URL加载模型使用modelscope镜像加速下载
model AutoModelForSeq2SeqLM.from_pretrained(ZhipuAI/ChatGLM-6B, mirrormodelscope).half()
# 设置模型为评估模式禁用dropout等训练时使用的策略
model.set_train(False)# 初始化与模型配套的分词器同样从预先定义的URL加载使用modelscope镜像
tokenizer AutoTokenizer.from_pretrained(ZhipuAI/ChatGLM-6B, mirrormodelscope)
可以修改下列参数和prompt体验模型
# 初始化对话提示
prompt 你好# 初始化对话历史记录
history []# 调用模型进行对话使用tokenizer对输入进行处理
# max_length限制了生成的回复的最大长度
response, _ model.chat(tokenizer, prompt, historyhistory, max_length20)# 输出模型生成的回复
response
打卡图片
