商业网站开发的实训小结怎么写,一键logo设计官网,怎么做免费域名网站,南京网站改版一、Qwen2-VL简介 Qwen2-VL是Qwen-VL的升级版本#xff0c;能力更强#xff0c;性能全面提升。尤其是72B参数的版本更是取了惊人的成绩。它可以读懂不同分辨率和不同长宽比的图片#xff0c;在 MathVista、DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现#xf…一、Qwen2-VL简介 Qwen2-VL是Qwen-VL的升级版本能力更强性能全面提升。尤其是72B参数的版本更是取了惊人的成绩。它可以读懂不同分辨率和不同长宽比的图片在 MathVista、DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现可以理解 20 分钟以上长视频支持基于视频的问答、对话和内容创作等应用具备强大的视觉智能体能力可自主操作手机和机器人借助复杂推理和决策的能力Qwen2-VL 可以集成到手机、机器人等设备根据视觉环境和文字指令进行自动操作。
二、环境装备 具体的环境可以参考我的上篇文(Qwen-VL部署)。这里不再重复内容。另外微调使用的swift这个框架进行的微调所以还要准备swift的环境。
swift环境安装此处可以只下载不pip安装环境可在下面微调前安装。
git clone https://github.com/modelscope/swift.git
cd swift
#pip install -e .[llm]# 请关注这个ISSUE: https://github.com/QwenLM/Qwen2-VL/issues/12
# pip install torch2.4
#pip install githttps://github.com/huggingface/transformers21fac7abba2a37fae86106f87fcf9974fd1e3830 accelerate
#pip install pyav qwen_vl_utils
如果遇到这个错误ImportError: transformers4.45.0.dev0 is required for a normal functioning of this module, but found transformers4.44.2
则需要这样安装transformers:
pip install githttps://github.com/huggingface/transformers21fac7abba2a37fae86106f87fcf9974fd1e3830 accelerate
上面这个错误在量化的时候也会遇到所以要每次创建环境都要使用上面的命令安装transformers.
三、微调
1、准备数据数据格式。
[{id: 1,conversations: [{from: user,value: Picture 1: img/data/media/upload/1/a9dc4837-2.png/img\\n请检查图片中是否有违反作业标准中规定的情况列出最突出的一种情况。},{from: assistant,value: 图片中存在地面有垃圾的问题},{from: user,value: 请框出图片中的问题},{from: assistant,value: ref问题/refbox(28,53),(552,731)/box}]}]
2、使用conda创建微调的环境, 创建qwen2的环境
git clone https://github.com/QwenLM/Qwen2-VL.git
cd Qwen2-VL/
conda create -n qwen2 python3.10 -y
conda activate qwen2
conda install pytorch torchvision torchaudio pytorch-cuda12.4 -c pytorch -c nvidia
pip install githttps://github.com/huggingface/transformers21fac7abba2a37fae86106f87fcf9974fd1e3830 accelerate
pip install pyav qwen_vl_utils#去到swift的目录里面这里接上面的环境安装。
cd /data/swift
#安装swift的环境
pip install -e .[llm]
3、微调指令 SIZE_FACTOR8 MAX_PIXELS602112 CUDA_VISIBLE_DEVICES0 swift sft \--model_type qwen2-vl-7b-instruct \--model_id_or_path /data/autodl/Qwen2-VL-7B-Instruct \--dataset /data/qwen-vl/Qwen-VL/datasets/result.json,self-cognition \--learning_rate 1e-3 \--batch_size 2 \--num_train_epochs 3 \--logging_steps 3 \--gradient_accumulation_steps 8 \--model_name 智能助手 Intelligent Assistant \--model_author 风之飘渺 Wind
四、量化 微调成功后需要合并参数这时可以同时量化操作也可以只合并不量化。量化同样使用的swift框架。不量化的情况下推理非常慢本人机器配置CPU2*6330内存128G显卡A5000.大概2分钟左右出结果。量化后还没有测试。
# 使用AutoGPTQ进行量化
pip install auto-gptq#量化指令CUDA_VISIBLE_DEVICES0 swift export \--ckpt_dir /data/swift2/swift/output/qwen2-vl-7b-instruct/v3-20240902-150740/checkpoint-93 \--merge_lora true --quant_bits 8 \--load_dataset_config true --quant_method gptq
