wordpress 网站模板,网站建设加关键词是什么意思,如何做ppt的模板下载网站,好网站建设公司的网站一、昇腾开发者平台申请镜像
登录Ascend官网昇腾社区-官网丨昇腾万里 让智能无所不及 二、登录并下载mindie镜像
#登录docker login -u XXX#密码XXX#下载镜像docker pull XXX
三、下载Qwen的镜像
使用wget命令下载Qwen1.5-0.5B-Chat镜像#xff0c;放在/mnt/Qwen/Qwen1.5-…一、昇腾开发者平台申请镜像
登录Ascend官网昇腾社区-官网丨昇腾万里 让智能无所不及 二、登录并下载mindie镜像
#登录docker login -u XXX#密码XXX#下载镜像docker pull XXX
三、下载Qwen的镜像
使用wget命令下载Qwen1.5-0.5B-Chat镜像放在/mnt/Qwen/Qwen1.5-0.5B-Chat的目录下
四、启动容器
#查看mindie镜像的IMAGE ID
docker images#启动容器
docker run --name mindieRC2 -it --ipchost --nethost \
--privilegedtrue \
--device/dev/davinci0 \
--device/dev/davinci1 \
--device/dev/davinci2 \
--device/dev/davinci3 \
--device/dev/davinci4 \
--device/dev/davinci5 \
--device/dev/davinci6 \
--device/dev/davinci7 \
--device/dev/davinci_manager \
--device/dev/devmm_svm \
--device/dev/hisi_hdc \
--entrypointbash \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \
-v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /mnt:/mnt \
{mindie镜像的IMAGE ID}
五、安装MindIE依赖的环境
#/opt/package下安装source install_and_enable_cann.sh
六、配置MindIE Service
cd /usr/local/Ascend/mindie/1.0.RC2/mindie-service
source set_env.sh
cd conf
vi config.json 七、运行启动文件
./bin/mindieservice_daemon
若出现如下回显则说明启动成功 八、发送推理请求
①HTTP客户端发送请求
重开一个窗口使用以下命令发送请求。例如列出当前模型列表
curl -H Accept: application/json -H Content-type: application/json -X GET http://127.0.0.1:1025/v1/models
②兼容OpenAI接口发送请求
重开一个窗口使用以下命令发送请求。例如列出当前模型列表
curl -H Accept: application/json -H Content-type: application/json -X POST -d {
model: Qwen1.5-0.5B-Chat,
messages: [{
role: system,
content: 上海好玩吗
}],
max_tokens: 100,
presence_penalty: 1.03,
frequency_penalty: 1.0,
seed: null,
temperature: 0.5,
top_p: 0.95,
stream: false
} http://127.0.0.1:1025/v1/chat/completions 附报错解决方案
Q1:No such file or directory
当再次使用docker exec -it进入容器直接运行./bin/mindieservice_daemon会报错“./bin/mindieservice_daemon: error while loading shared libraries: libsecurec.so: cannot open shared object file: No such file or directory”
A1解决方案
第一种方法重新加入install_and_enable_cann.sh
source install_and_enable_cann.sh
第二种方法将install_and_enable_cann.sh配置到bashrc中
vim ~/.bashrc
增加内容如下
source install_and_enable_cann.sh
source ~/.bashrc
Q2Management or Business Http server listen port is occupied
运行./bin/mindieservice_daemon报错“Management or Business Http server listen port is occupied”
A2解决方案
#查看是否有其他进程占用了端口
netstat -tulnp | grep 1025
netstat -tulnp | grep 1026
#如果是其他进程占用重启容器
docker restart 容器名称
参考链接
启动服务-启动服务与接口使用-快速开始-MindIE Service开发指南-服务化集成部署-MindIE1.0.RC2开发文档-昇腾社区
