dede添加网站背景,秦皇岛黄金海岸好玩吗,学产品设计的可以找什么工作,柴沟堡做网站公司最近deepseek的大火#xff0c;让大家掀起新一波的本地部署运行大模型的热潮#xff0c;特别是deepseek有蒸馏的小参数量版本#xff0c;电脑上就相当方便了#xff0c;直接ollamaopen-webui这种类似的组合就可以轻松地实现#xff0c;只要硬件#xff0c;如显存#xf…最近deepseek的大火让大家掀起新一波的本地部署运行大模型的热潮特别是deepseek有蒸馏的小参数量版本电脑上就相当方便了直接ollamaopen-webui这种类似的组合就可以轻松地实现只要硬件如显存RAM足够参数量合适速度还可以接受。本地部署的意义在于一是可以数据不上网让一些私密的数据有所保障二是可以实现一些在线限制的功能。
在手机上运行的意义其实更多可能是玩玩但是随着LLM技术的发展已经手机硬件正在赶超PC和服务器或许在未来手机上就可以实现电脑上同样的功能。小编收集了几种手机上部署运行的方法分享给大家。
鸿蒙/安卓/IOS使用MNN大模型App *** 多模态
有一说一在大模型开源方面阿里做得也是很棒地在deepseek没有火爆之前它应该是最棒的中国开源大模型公司deepseek的蒸馏小模型也用了qwen系列为中国公司点赞
安装就比较简单啦直接下载App然后下载模型运行即可所说速度是比ollama要快一些有阿里自已开发的架构。暂时发现只有安卓的编译好的下载地址https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk
安卓MLC-MiniCPM *** 多模态
和下面的一样但是这个是国内公司的大模型下载什么的更方便。MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列模型前段时间曾经有斯坦福大学的人抄袭了这个公司的产品也是让外国人重新认识了国内的技术水平。
下载地址https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/mobile/android/MiniCPM-2.0.apk ## 安卓/IOSMLCChat *
下载APK: https://ghfast.top/https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android-09262024/mlc-chat.apk
如果下载不成功网络连接错误可以先打开https://ghproxy.link/替换https://ghfast.top/网址为可用的即可。另外从官网看这个App是直接从抱抱脸官方下载模型的可能会网络错误当然国内有镜像站https://hf-mirror.com/ 不确定如何替换。 IOS: fullmoon **
Fullmoon是一款专为iOS设备设计的应用程序旨在提供与本地大语言模型进行私密聊天的功能。该应用优化了Apple Silicon支持在iPhone、iPad和Mac上运行。用户的聊天记录会被本地保存并且可以自定义应用的外观。Fullmoon利用了Apple的MLX Swift框架这是一个用于在Apple Silicon上进行机器学习研究的数组框架。该应用支持多种语言模型包括Llama 3.2 1B、Llama 3.2 3B和DeepSeek-R1-Distill-Qwen-1.5B-4bit。 安卓termux ollama * 门槛稍高
安装termux App
Termux 是用于安卓的终端模拟器安卓6.0以上机型应用商店搜“Termux”安装即可。手机一般选轻量版1.5b就差不多了8G RAM16G RAM的应该可以选大点的。
在termux中安装 Ollama
手机安装好 Termux 后输入 Ollama Termux 一键安装脚本的命令如下
先更新
pkg update pkg upgrade然后使用一键脚本命令安装ollama
wget https://github.com/Dev-ing-ing/ollama-termux/releases/download/v1.0.0/ollama-installer.sh bash ollama-installer.sh部署DeepSeek, 在 Termux 命令启动 Ollama 服务器
ollama serve最后安装 DeepSeek 模型手机端建议选择 1.5b 模型输入如下命令
ollama run deepseek-r1:1.5b就可以在命令行愉快地玩耍啦 你还知道哪些方法欢迎分享沟通呀
参考
https://www.aisharenet.com/fullmoon/https://github.com/alibaba/MNN/https://mp.weixin.qq.com/s/EdWJqkRyvXW0Y_QOwcEtlQhttps://mp.weixin.qq.com/s/sK_5oi0yHt48Y0kfmIQVZAhttps://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md
