h5页面制作网站官网,企业站,杭州论坛网,2小时wordpress建站【大模型】开源且可商用的大模型通义千问-7B#xff08;Qwen-7B#xff09;来了 新闻通义千问 - 7B 介绍评测表现快速使用环境要求安装相关的依赖库推荐安装flash-attention来提高你的运行效率以及降低显存占用使用 Transformers 运行模型使用 ModelScope 运行模型 量化长文本… 【大模型】开源且可商用的大模型通义千问-7BQwen-7B来了 新闻通义千问 - 7B 介绍评测表现快速使用环境要求安装相关的依赖库推荐安装flash-attention来提高你的运行效率以及降低显存占用使用 Transformers 运行模型使用 ModelScope 运行模型 量化长文本理解参考 新闻
2023年8月3日 在魔搭社区ModelScope和Hugging Face同步推出Qwen-7B和Qwen-7B-Chat模型。
通义千问 - 7B 介绍
通义千问-7BQwen-7B 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样覆盖广泛包括大量网络文本、专业书籍、代码等。同时在Qwen-7B的基础上我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括
大规模高质量预训练数据我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。数据集包括文本和代码等多种数据类型覆盖通用领域和专业领域。优秀的模型性能相比同规模的开源模型Qwen-7B在多个评测数据集上具有显著优势甚至超出12-13B等更大规模的模型。评测评估的能力范围包括自然语言理解与生成、数学运算解题、代码生成等。更好地支持多语言基于更大词表的分词器在分词上更高效同时它对其他语言表现更加友好。用户可以在Qwen-7B的基础上更方便地训练特定语言的7B语言模型。8K的上下文长度Qwen-7B及Qwen-7B-Chat均能支持8K的上下文长度, 允许用户输入更长的prompt。支持插件调用Qwen-7B-Chat针对插件调用相关的对齐数据做了特定优化当前模型能有效调用插件以及升级为Agent。
GitHub 地址 https://github.com/QwenLM/Qwen-7Bhuggingface 地址 https://huggingface.co/Qwen/Qwen-7B-Chat
评测表现
Qwen-7B在多个全面评估自然语言理解与生成、数学运算解题、代码生成等能力的评测数据集上包括MMLU、C-Eval、GSM8K、HumanEval、WMT22等均超出了同规模大语言模型的表现甚至超出了如12-13B参数等更大规模的语言模型。
快速使用
环境要求
pytorch1.12transformers4.31.0安装相关的依赖库
pip install transformers4.31.0 accelerate tiktoken einops推荐安装flash-attention来提高你的运行效率以及降低显存占用
git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention
cd flash-attention pip install .
pip install csrc/layer_norm
pip install csrc/rotary使用 Transformers 运行模型
先判断当前机器是否支持BF16命令如下所示
import torch
torch.cuda.is_bf16_supported()
# 打开bf16精度A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存
model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-7B-Chat, device_mapauto, trust_remote_codeTrue, bf16True).eval()
# 打开fp16精度V100、P100、T4等显卡建议启用以节省显存
model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-7B-Chat, device_mapauto, trust_remote_codeTrue, fp16True).eval()再进行测试
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig# 请注意我们的分词器做了对特殊token攻击的特殊处理。因此你不能输入诸如|endoftext|这样的token会出现报错。
# 如需移除此策略你可以加入这个参数allowed_special可以接收all这个字符串或者一个特殊tokens的set。
# 举例: tokens tokenizer(text, allowed_specialall)
tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-7B-Chat, trust_remote_codeTrue)# 使用CPU进行推理需要约32GB内存
# model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-7B-Chat, device_mapcpu, trust_remote_codeTrue).eval()
# 默认使用fp32精度
model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-7B-Chat, device_mapauto, trust_remote_codeTrue).eval()
model.generation_config GenerationConfig.from_pretrained(Qwen/Qwen-7B-Chat, trust_remote_codeTrue) # 可指定不同的生成长度、top_p等相关超参# 第一轮对话 1st dialogue turn
response, history model.chat(tokenizer, 你好, historyNone)
print(response)
# 你好很高兴为你提供帮助。# 第二轮对话 2nd dialogue turn
response, history model.chat(tokenizer, 给我讲一个年轻人奋斗创业最终取得成功的故事。, historyhistory)
print(response)
# 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# 故事的主人公叫李明他来自一个普通的家庭父母都是普通的工人。从小李明就立下了一个目标要成为一名成功的企业家。
# 为了实现这个目标李明勤奋学习考上了大学。在大学期间他积极参加各种创业比赛获得了不少奖项。他还利用课余时间去实习积累了宝贵的经验。
# 毕业后李明决定开始自己的创业之路。他开始寻找投资机会但多次都被拒绝了。然而他并没有放弃。他继续努力不断改进自己的创业计划并寻找新的投资机会。
# 最终李明成功地获得了一笔投资开始了自己的创业之路。他成立了一家科技公司专注于开发新型软件。在他的领导下公司迅速发展起来成为了一家成功的科技企业。
# 李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险不断学习和改进自己。他的成功也证明了只要努力奋斗任何人都有可能取得成功。# 第三轮对话 3rd dialogue turn
response, history model.chat(tokenizer, 给这个故事起一个标题, historyhistory)
print(response)
# 《奋斗创业一个年轻人的成功之路》使用 ModelScope 运行模型
魔搭ModelScope是开源的模型即服务共享平台为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品。使用ModelScope同样非常简单代码如下所示
import os
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope import snapshot_downloadmodel_id QWen/qwen-7b-chat
revision v1.0.0model_dir snapshot_download(model_id, revision)pipe pipeline(
taskTasks.chat, modelmodel_dir, device_mapauto)
history Nonetext 浙江的省会在哪里
results pipe(text, historyhistory)
response, history results[response], results[history]
print(fResponse: {response})
text 它有什么好玩的地方呢
results pipe(text, historyhistory)
response, history results[response], results[history]
print(fResponse: {response})量化
还支持量化详情查看【https://github.com/QwenLM/Qwen-7B/blob/main/README_CN.md】
长文本理解
我们引入了NTK插值、窗口注意力、LogN注意力缩放等技术来提升模型的上下文长度并突破训练序列长度的限制。我们的模型已经突破8K的序列长度。通过arXiv数据集上的语言模型实验我们发现Qwen-7B能够在长序列的设置下取得不错的表现。 参考
https://github.com/QwenLM/Qwen-7Bhttps://huggingface.co/Qwen/Qwen-7B-Chat
