织梦网站主页代码在后台怎么改,电影wordpress,wordpress粒子插件,app软件开发外包公司系列文章目录
玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——三分钟教你用langchain提示词工程获得猫娘女友 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型—…系列文章目录
玩转大语言模型——使用langchain和Ollama本地部署大语言模型 玩转大语言模型——三分钟教你用langchain提示词工程获得猫娘女友 玩转大语言模型——ollama导入huggingface下载的模型 玩转大语言模型——langchain调用ollama视觉多模态语言模型 玩转大语言模型——使用transformers中的pipeline调用huggingface中模型 玩转大语言模型——transformers微调huggingface格式的中文Bert模型 玩转大语言模型——使用GraphRAGOllama构建知识图谱 玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题 玩转大语言模型——配置图数据库Neo4j含apoc插件并导入GraphRAG生成的知识图谱 玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程 玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(OllamaAnythingLLM) 玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础教程 玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek 玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成 文章目录 系列文章目录前言下载并配置llama.cpp更新apt-get下载依赖克隆代码编译项目构建项目文件进一步编译 推理CLI工具推理推理模板 server工具 结尾 前言
llama.cpp是一个基于C/C的开源项目旨在高效地运行大型语言模型推理。纯采用纯C/C编写不依赖其他外部库可移植性强只要环境支持C/C运行就能运行llama.cpp。支持Apple芯片通过ARM NEON等框架进行优化支持x86架构的AVX等指令集提供自定义CUDA内核支持NVIDIA、AMD等GPU还支持Vulkan和SYCL后端可实现CPUGPU混合推理。除此之外还支持1.5位到8位的整数量化加快推理速度并减少内存使用便于在资源有限的设备上运行。从推理速度上来看相比原始Python实现采用C开发的llama.cpp推理速度更快。通过4-bit、GGUF等量化技术大幅降低显存需求能在8GB显存的消费级显卡上运行大模型。本篇将以deepseek为例介绍如何使用llama.cpp部署大语言模型并进行简单应用
下载并配置llama.cpp
在本篇中仅介绍Linux系统、Nvidia显卡下的配置 更多配置的操作见官网https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md
更新apt-get
sudo apt-get update下载依赖
sudo apt-get install build-essential cmake curl libcurl4-openssl-dev -y其中
build-essential 必需的工具和库确保系统能正常进行编译。cmake 跨平台的构建系统用于管理项目的编译过程。curl 命令行工具用于通过 URL 发送和接收数据。libcurl4-openssl-dev cURL的一个库文件允许在编程中通过 cURL 发送 HTTP 请求。libcurl4-openssl-dev 是与 OpenSSL配合使用的版本提供了 SSL/TLS 加密支持用于安全的 HTTP 请求。 克隆代码
github链接https://github.com/ggml-org/llama.cpp 也可以直接使用git方式下载
git clone https://github.com/ggml-org/llama.cpp下载后进入到llama.cpp路径
cd llama.cpp编译项目
构建项目文件
使用CMake构建项目文件
cmake -B build -DBUILD_SHARED_LIBSOFF -DGGML_CUDAON -DLLAMA_CURLON其中参数
参数含义-B构建目录在此命令中为build目录-DBUILD_SHARED_LIBS创建共享库选项设置为OFF则不创建共享库仅使用静态库-DGGML_CUDA在有 GPU 的情况下使用 GPU 加速-DLLAMA_CURL支持网络请求
进一步编译
cmake --build build --config Release --clean-first --target llama-quantize llama-cli llama-gguf-split其中参数
参数含义–build用来指示构建文件的路径–config指定构建配置可选参数Debug(调试版本包含调试信息但没有优化)、Release没有调试信息但运行效率更高-j构建过程使用的并行CPU数–clean-first是否在构建之前清空以前的构建结果一般建议是情况防止出现错误–target指定构建的目标不设置这一参数默认是构建所有的目标
本篇中编译的目标以及解释
目标解释llama-quantize将模型的精度从浮点数降低到整数从而减少内存占用和提高推理速度llama-cli用于运行模型或与用户交互llama-gguf-split于将一个大模型文件拆分成多个小文件方便存储和加载 推理
推理时需要先切换到编译后的bin文件目录下
cd /build/binCLI工具推理
使用llama-cli可以实现与模型的交互模式推理 ./llama-cli -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-7B/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf交互如下 如果觉得每次执行都要输入一大堆很麻烦也可以将命令写入sh文件
echo ./llama-cli -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-7B/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf llama-cli-test.sh下次执行时仅运行sh文件即可
bash llama-cli-test.sh推理模板
使用以下命令查看相关参数
llama-cli - h我们可以看到相关的可选模板 随后可以通过设置--chat-template来设定模板除此之外还可以通过以下命令自定义模板
llama-cli -m model.gguf -cnv --in-prefix User: --reverse-prompt User:server工具
使用llama-server可以提供API服务
./llama-server -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-1.5B-Q2_K/DeepSeek-R1-Distill-Qwen-1.5B-Q2_K.gguf --port 8080 --host 0.0.0.0 -ngl 5 --parallel 10其中参数及其含义
参数含义-m模型路径–port端口号默认是8080host设置为全零代表全都可以访问-ngl卸载到GPU的层数–parallel并发访问数
llama-server提供的是类似于OpenAI的接口如果是本机访问使用127.0.0.1:8080/v1或localhost:8080如果是局域网内其他机子需要将127.0.0.1换成服务器的IP地址。
如果服务器本地可以访问局域网内访问不了查看一下防火墙有没有允许外界访问端口或者如果是自己做测试且没有其他应用可以直接关掉防火墙。
如果是使用WSL的Ubuntu系统最好是用本地访问由于Windows本身防火墙或者与Windows本身端口冲突都可能会导致远程访问失败调节起来非常的麻烦。
与此同时llama.cpp还提供了一个WebUI界面 直接访问localhost:8080就可以使用
结尾
在本章中简单介绍了llama.cpp的使用实际上llama.cpp的操作细节和参数设置有很多后续会专门出一个参数的详解
