章丘市网站建设seo,做网站美工要学什么软件,聊城网站建设开发,当地建设局网站dragonGPT
从数据私有化#xff0c;到prompt向量库匹配#xff0c;再到查询#xff0c;一条龙服务#xff0c;单机部署#xff0c;极简操作
pre
a.需要下载gpt4all model到本地. ggml Model Download Link
然后将存放model的地址写入.env
MODEL_PATH your pathb.…dragonGPT
从数据私有化到prompt向量库匹配再到查询一条龙服务单机部署极简操作
pre
a.需要下载gpt4all model到本地. ggml Model Download Link
然后将存放model的地址写入.env
MODEL_PATH your pathb.在dragongpt/source_documents下放入自己想要关联的私有化信息可以是自己的数字分身信息或者是其他业务信息.
c.Python 3.10.11
run
pip3 install poetry //全局安装poetry管理python项目cd dragonGDPpoetry shell //打开虚拟环境poetry install //安装三方包cd dragongptpython3 inject.py //将私有信息存入向量库python3 index.py //向量拟合比对查询起本地服务
test
以上进行完之后就会在8080端口起一个服务我们可以终端用curl对其测试请求
curl -X POST \http://127.0.0.1:8000/speak \-H Content-Type: application/json \-d {prompt: Hello}通过json传值问题参数是prompt packages
[tool.poetry.dependencies] python “^3.10” langchain “^0.0.187” gpt4all “^0.2.3” chromadb “^0.3.23” llama-cpp-python “^0.1.50” urllib3 “^2.0.2” pdfminer-six “^20221105” python-dotenv “^1.0.0” unstructured “^0.6.6” extract-msg “^0.41.1” tabulate “^0.9.0” pandoc “^2.3” pypandoc “^1.11” tqdm “^4.65.0” sentence-transformers “^2.2.2” flask “^2.3.2”
