学校文化建设网站,网站是否需要备案,网站热力图怎么做,网络营销毕业后做什么工作文章目录 DeepSeek介绍公司背景核心技术产品与服务应用场景优势与特点访问与体验各个DeepSeek-R系列模型的硬件需求和适用场景 Ollama主要特点优势应用场景安装和使用配置环境变量总结 安装open-webui下载和安装docker desktop配置镜像源安装open-webui运行和使用 RagFlow介绍主… 文章目录 DeepSeek介绍公司背景核心技术产品与服务应用场景优势与特点访问与体验各个DeepSeek-R系列模型的硬件需求和适用场景 Ollama主要特点优势应用场景安装和使用配置环境变量总结 安装open-webui下载和安装docker desktop配置镜像源安装open-webui运行和使用 RagFlow介绍主要功能适用场景优势下载及安装私有知识库1. 模型供应商配置2. 创建知识库3. 创建数据集4. 创建助理和对话 个人主页道友老李 欢迎加入社区道友老李的学习社区
DeepSeek介绍
DeepSeek官网
DeepSeek深度求索是一家专注于实现通用人工智能AGI的中国科技公司致力于通过技术探索与创新推动智能技术的广泛应用。以下是其核心信息的概述 公司背景
成立时间2023年具体时间未公开披露总部中国杭州使命通过AGI技术提升人类生产力推动社会进步。愿景成为全球AGI领域的领导者。 核心技术 大语言模型LLM 自主研发高性能基座模型如DeepSeek-R1、DeepSeek-R2支持长文本理解、复杂推理和多语言处理。模型参数量覆盖数十亿至千亿级平衡性能与计算效率。 多模态AI 整合文本、图像、语音等多模态数据开发跨模态理解与生成能力。 搜索增强技术 结合搜索引擎实时数据提升模型在知识更新与事实准确性上的表现。 产品与服务
通用大模型面向开发者的开放API如DeepSeek API支持文本生成、代码编写等任务。行业定制模型针对金融、医疗、教育等领域提供垂直场景优化方案。企业级平台提供模型训练、部署及管理的全流程工具链如Fine-tuning平台。开源社区部分模型和技术开源促进开发者协作如发布轻量版模型。 应用场景
智能客服自动化应答与客户意图分析。内容生成营销文案、代码、报告等自动化创作。数据分析从非结构化数据中提取洞察辅助决策。教育个性化学习助手与智能题库生成。 优势与特点
技术领先模型性能在多项基准测试如MMLU、HumanEval中位居前列。场景深耕聚焦企业级需求提供高可用的行业解决方案。生态合作与云计算厂商、硬件供应商及高校建立联合实验室。 访问与体验
官网提供在线体验入口如Chat界面和开发者文档。部分模型可通过Hugging Face、GitHub等平台获取。 如需更详细的技术参数、商业合作或最新动态建议访问其官方网站或查阅官方发布的白皮书。
各个DeepSeek-R系列模型的硬件需求和适用场景 我的电脑配置 可以跑7b和14b
Ollama
ollama search
Ollama 是一个开源的 AI 推理框架专注于模型压缩和部署。它的目标是帮助用户在本地或边缘设备上高效运行大型语言模型LLM通过量化和其他技术显著减少模型大小同时保持高性能。
主要特点 模型压缩与优化 Ollama 提供了多种模型压缩技术如 4-bit 和 8-bit 量化使大模型能够在低资源环境下运行。支持主流语言模型如 LLaMA、Vicuna 等的适配和部署。 高性能推理 Ollama 能够在本地设备上实现低延迟、高吞吐量的推理适合实时应用。 易于部署 提供简洁的命令行界面CLI用户可以轻松下载模型、调整参数并运行推理服务。支持 Docker 部署便于在云服务器或边缘设备上快速搭建。 社区驱动 Ollama 是一个开源项目依赖于活跃的社区支持用户可以根据需求贡献和改进功能。
优势
轻量化通过量化技术显著降低模型大小适合资源受限的环境。高性能优化了推理速度能够在本地快速响应。灵活性支持多种模型格式和后端如 GGML、TensorRT 等。易于上手用户无需复杂的配置即可开始使用。
应用场景 本地开发与实验 开发者可以轻松在本地运行 LLM用于快速测试和原型设计。 边缘计算 在边缘设备如 Raspberry Pi上部署轻量级 AI 服务。 实时推理服务 快速搭建支持多语言模型的推理服务器满足企业或个人需求。 教育与研究 提供了一个易于使用的工具适合教学和研究场景。
安装和使用
国内下载Ollama下载 打开cmd控制台输入 ollama可以看到帮助命令 下载模型以 DeepSeek-R系列为例 ollama pull deepseek-r1:1.5b启动推理服务 ollama serve --port 11434运行模型 ollama run deepseek-r1:1.5b可以开始对话了。
配置环境变量 OLLAMA_MODELS 是修改OLLAMA下载的模型存储位置默认是在C盘
总结
Ollama 是一个强大的工具旨在简化大型语言模型的部署和推理过程。它通过模型压缩和优化技术使得在本地或边缘设备上运行 AI 模型变得高效且易于管理。无论是开发者、研究人员还是企业用户Ollama 都能提供灵活和支持满足多种应用场景的需求。
安装open-webui
下载和安装docker desktop
官网地址Docker Desktop
GitHub地址Docker Desktop 配置镜像源 第一个是阿里云的镜像源可登录阿里云平台查看
registry-mirrors: [https://${阿里云的}.mirror.aliyuncs.com,https://docker.m.daocloud.io,https://mirror.baidubce.com,https://docker.nju.edu.cn,https://mirror.iscas.ac.cn]安装open-webui
搜索open-webui 我这里已经安装过了。
运行和使用
在容器中运行open-webui然后浏览器输入http://localhost:3000 进入设置 配置Ollama地址 配置好后保存正常的情况下界面就会显示Ollama中已下载好的模型了 完成可以开始对话了
RagFlow介绍
RagFlow 是一个基于大语言模型的流程自动化工具旨在帮助用户通过自然语言处理NLP技术来自动化和优化工作流程。它结合了先进的AI技术和直观的用户界面使得非技术人员也能轻松实现流程自动化。
主要功能
智能对话交互用户可以通过与RagFlow进行自然语言对话定义、管理和优化各种工作流程。任务自动化支持多种任务类型如数据处理、信息提取、报告生成等帮助用户自动完成重复性工作。跨系统集成能够与主流的第三方服务如Slack、Jira、Google Drive等无缝集成实现不同系统的数据流动和协同工作。动态流程调整根据实时数据和上下文环境智能调整工作流程确保流程始终高效运行。可扩展性支持大规模业务需求适用于从个人到企业的各种场景。
适用场景
企业流程优化帮助企业在销售、 marketing、客服等环节实现自动化提升效率。个人任务管理用户可以通过RagFlow自动化个人日常任务如行程安排、邮件处理等。数据整合与分析通过自动化数据收集和处理支持更高效的决策制定。
优势
易用性无需编程知识用户即可快速上手。灵活性支持定制化需求满足不同用户的个性化要求。高效性利用AI技术提升流程执行效率减少人工干预。
RagFlow 通过将复杂的流程自动化转化为简单的对话交互极大地提升了工作效率和用户体验。如果你有具体的使用场景或问题可以进一步探讨如何利用RagFlow来优化你的工作流程
下载及安装
从github上下载 ragflow或直接
git clone https://github.com/infiniflow/ragflow.git运行脚本进入docker 文件夹利用提前编译好的 Docker 镜像启动服务器
docker compose -f docker-compose-CN.yml up -d这个过程会很慢成功后会自动运行容器中的服务 浏览器上输入http://localhost 第一个注册的账号就是管理员登录成功
私有知识库
1. 模型供应商配置
点击头像进入模型供应商配置 选择下面列表中的Ollama然后进行模型配置 模型名称就是Ollama中下载的模型名称
2. 创建知识库 解析方法改成General其他默认即可
3. 创建数据集 新增本地文件 执行解析等待解析完成
4. 创建助理和对话
切换到聊天页新建助理选择知识库
切换到模型设置调整一下最大token数 新建聊天开始对话
