奇迹建站模板,黄岐网站制作,海南网站优化,html制作网页的软件一、背景知识
embedding将文本映射到稠密的向量空间中#xff0c;方便存储和查询。 huggingface的embedding榜单 这里结合自己的应用场景#xff0c;选择1b以下的embedding模型#xff0c;综合考量下选择arkohut/jina-embeddings-v3 模型链接
下载 使用模型卡片提供的命令…一、背景知识
embedding将文本映射到稠密的向量空间中方便存储和查询。 huggingface的embedding榜单 这里结合自己的应用场景选择1b以下的embedding模型综合考量下选择arkohut/jina-embeddings-v3 模型链接
下载 使用模型卡片提供的命令用cmd下载强烈建议使用SSH命令下载用http容易报错 需要使用魔法上网才能下载。如果超时的话也可以选择手动下载。注意下载后的文件名应该和网站上提供的一样。
二、jina功能
论文地址 jina-embeddings-v3: Multilingual Embeddings With Task LoRA 它的创新点主要有 1.支持的文本长度高达8192 tokens 2.可以进行Task-specific的embedding 3.检索失败时可以合成数据 4.用上了最新的技术提高了性能
三、LangChain上部署
model_name E:\jina-embeddings-v3
model_kwargs {device: cpu,trust_remote_code:True}
encode_kwargs {normalize_embeddings: False}
hf HuggingFaceEmbeddings(model_namemodel_name,model_kwargsmodel_kwargs,encode_kwargsencode_kwargs
)完整代码可见 我的实战博客
