南京网站创建,node 网站开发,京津冀协同发展,网页版梦幻西游手游官网最近闲庭漫步#xff0c;赏一赏各个AI大语言模型芳容。也趁着时间#xff0c;把倪海夏一家的天纪和人纪视频看完了#xff0c;感谢倪先生和现在网络的知识分享#xff0c;受益匪浅。但是发现看完#xff0c;很多不错的知识都不能记录在脑子里#xff0c;那用的时候岂不是…最近闲庭漫步赏一赏各个AI大语言模型芳容。也趁着时间把倪海夏一家的天纪和人纪视频看完了感谢倪先生和现在网络的知识分享受益匪浅。但是发现看完很多不错的知识都不能记录在脑子里那用的时候岂不是还要再看一遍视频把那个要点找出来听一遍现在都AI时代了我们就AI一下把视频里的语音转成文本用大语言模型校正再生成知识库让大预言模型检索并回答我们提出的问题。
首先需要的当然是硬件拿出这个前东家送的游戏本RTX3090一枚顺带一提的是最新的mac笔记本m4很猛啊新工作机48GB内存已经可以跑ollama上量化了的72B了如果能有个超级mac m4 max直接内存128GB可以跑很大的模型了网上有人直接使用开源的exo8台mac凑够496GB内存可以直接跑deepseek-r1 671B。第二个需要能科学上网访问hugging face。 然后是准备当下AI三件套Ollama Open-WebUI Jupyter。windows环境当然是要一个pythonopen-webui要求不能python-3.13那就python-3.12呗。装好pytorchjupyteropen-webuiollama然后我们就要开始配置这些环境了。
为了把视频语音转我们要祭出whisper一般whisperx用就好了不过windows上有点问题也懒得深究了直接换到本源走openai的whisper最新large-v3模型。jupyter上设计一个pipeline让ffmpeg将所有视频只保留音频mp3再按huggingface上whisper主页的案例引用直接对每个mp3生成识别后的文本…
这个文本有很多错误也没有啥标点…这个就需要动用大预言模型了一开始使用了ollama因为3090内存有限扣吧吧用个小模型让它校正有时候它还不太听话…于是想想这个文本又不是什么私密的东西直接用线上正统超级大语言模型好了…先去arena试验了一下发现deepseek-r1对这种任务线上超大模型都不怎么听话看来deepseek训练方法贡献巨大但是自己还是在模型积累的初级阶段…连grok-3和claude 3.7都比它好用。但是老是科学着也不好再尝试了下qwen2.5-max效果不错任务都丢给它了…配置好合适的prompt预填一些先验知识它能很好得给出简单修正以及断句打标点…
有了这些视频的音频文本后面就是建立一个简单RAG系统了…这个要用到open-webui和ollama当然我是想自用的所以用ollama用gpu运行小模型。open-webui自带了dev用chroma vector db个人用就够了先ollama下载bge-m3的embedding模型再下载一个为问答使用的模型比如qwen2.5open-webui里配置好知识库的embedding模型并且在workspace里创建知识库把生成好的文本上传等它embedding结束。之后就是创建专家系统模型套一个base模型qwen2.5再选上知识库内容然后就开始play~
之后就是继续各种添加知识库并且写一套langchain让它更丝滑得运行提高对知识库掌握的准确度。后面还可以搭建各种其他的知识库了~enjoy…
以下图片仅供展示系统有知识库初期的demo生病了还请求医慎重看待AI生成内容
