做一个商城网站,域名买完了网站建设,织梦cms怎么打不开网站,免费公司起名字大全下载安装
下载
https://ollama.com/download/windows
安装
Windows 安装 如果直接双击 OllamaSetup.exe 安装#xff0c;默认会安装到 C 盘#xff0c;如果需要指定安装目录#xff0c;需要通过命令行指定安装地址#xff0c;如下#xff1a; # 切换到安装目录
C:\Use…下载安装
下载
https://ollama.com/download/windows
安装
Windows 安装 如果直接双击 OllamaSetup.exe 安装默认会安装到 C 盘如果需要指定安装目录需要通过命令行指定安装地址如下 # 切换到安装目录
C:\Users\lisiyuD:
# 执行安装
D:\ollamaOllamaSetup.exe /DIRd:\ollama\设置模型存储路径
要更改 Ollama 存储下载模型的位置而不是使用你的主目录可以在你的用户账户中设置环境变量 OLLAMA_MODELS。
如下先在安装 ollama 目录下创建 models 文件夹然后在 windows 下设置环境变量 快捷使用
查看 ollama 版本
C:\Users\lisiyuollama --version
ollama version is 0.5.7查看 ollama 已下载模型列表
C:\Users\lisiyuollama list
NAME ID SIZE MODIFIED
拉取模型 模型列表https://ollama.com/search PS C:\Users\lisiyu\Desktop ollama pull deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0... 26% ▕█████████████████████████████████████ ▏ 1.3 GB/4.9 GB 3.5 MB/s 17m32s 运行模型如果模型未拉取默认会先执行 pull 拉取
C:\Users\lisiyuollama run deepseek-r1:8bSend a message (/? for help)# 此时进入对话窗口
# 如果要退出输入 /bye 执行退出
# 退出后ollama 也会在后台运行更多命令参考帮助说明
C:\Users\lisiyuollama help
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve Start ollamacreate Create a model from a Modelfileshow Show information for a modelrun Run a modelstop Stop a running modelpull Pull a model from a registrypush Push a model to a registrylist List modelsps List running modelscp Copy a modelrm Remove a modelhelp Help about any commandFlags:-h, --help help for ollama-v, --version Show version informationUse ollama [command] --help for more information about a command.Ollama API 默认访问地址https://localhost:11434 或者 https://127.0.0.1:11434 允许外网访问 由于默认只能在本机访问所以要允许外网访问要监听 0.0.0.0 地址。 且有些场景需要指定端口。 此时可以通过设置环境变量 OLLAMA_HOST 来定义如下 Ollama 支持的 API 参考官方文档https://ollama.readthedocs.io/api/ API URL请求方式请求参数响应参数API 说明CURL 请求示例/api/generatePOSTmodel模型名称、prompt提示文本、可选参数如 stream、suffix 等response生成的文本、tokens生成的 token 数量等生成文本curl http://localhost:11434/api/generate -d {model: llama2, prompt: 为什么天空是蓝色的}/api/chatPOSTmodel模型名称、messages消息列表包含角色和内容response回复内容、tokens生成的 token 数量等聊天对话curl http://localhost:11434/api/chat -d {model: llama2, messages: [{role: user, content: 你好}]}/api/pullPOSTname模型名称、可选参数如 insecure、stream 等返回拉取进度或模型信息拉取模型curl http://localhost:11434/api/pull -d {name: llama2}/api/deleteDELETEname模型名称返回状态码200 OK 或 404 Not Found删除模型curl -X DELETE http://localhost:11434/api/delete -d {name: llama2}/api/tagsGET无返回模型列表获取本地模型列表curl http://localhost:11434/api/tags/api/showPOSTname模型名称、可选参数 verbose是否返回详细信息返回模型详细信息包括 modelfile、parameters、template 等查看模型信息curl http://localhost:11434/api/show -d {name: llama2}/api/copyPOSTsource源模型名称、destination目标模型名称返回状态码200 OK 或 404 Not Found复制模型curl http://localhost:11434/api/copy -d {source: llama2, destination: llama2-backup}/api/createPOSTname新模型名称、modelfile模型文件内容返回创建状态或错误信息创建自定义模型curl http://localhost:11434/api/create -d {name: llama2-custom, modelfile: FROM llama2\nSYSTEM You are a helpful assistant.}
注意
尽管在本地使用 AI 是一个美好的想象感觉上是免费使用 AI还不用担心网络卡顿、数据安全。 但实际上大部分好用的模型在消费级的机器上根本跑不了。 能跑的都是很小规模的模型效果很差。 所以使用本地化 AI 的前提一定是要有足够资源的机器。 我的实验机器是 14 核 32 GN卡 40808G 显存。 目前本地部署的 AI勉强能用的就是 llama3.2 和 deepseek-r1:8b 感觉还不错。 其他的模型用起来效果真的不忍直视。 当然本地这些模型的使用我没有专门做测评如果有专门做了测评的朋友非常欢迎在此分享
