触摸屏html网站,首饰网站模板,wordpress 加密,jae wordpress目录
支持的模型列表
模型部署
模型调用
WebUI使用
在线调试
API调用
关于成本
FAQ
点击部署后服务长时间等待
服务部署成功后#xff0c;调用API返回404
请求太长导致EAS网关超时
部署完成后#xff0c;如何在EAS的在线调试页面调试
模型部署之后没有“联网搜索…目录
支持的模型列表
模型部署
模型调用
WebUI使用
在线调试
API调用
关于成本
FAQ
点击部署后服务长时间等待
服务部署成功后调用API返回404
请求太长导致EAS网关超时
部署完成后如何在EAS的在线调试页面调试
模型部署之后没有“联网搜索”功能
模型服务如何集成到AI应用以Dify为例 DeepSeek-V3是由深度求索公司推出的一款拥有6710亿参数的专家混合MoE大语言模型DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。Model Gallery提供了BladeLLM、SGLang和vLLM加速部署功能帮助您一键部署DeepSeek-V3和DeepSeek-R1系列模型。
支持的模型列表 说明 DeepSeek-R1、DeepSeek-V3满血版模型的参数量较大671B所需配置和成本较高8卡96G显存以上。建议您选择蒸馏版模型机器资源较充足、部署成本较低。 根据测试DeepSeek-R1-Distill-Qwen-32B模型的效果和成本较优适合云上部署可尝试作为DeepSeek-R1的替代模型。您也可以选择7B、8B、14B等其他蒸馏模型部署Model Gallery还提供了模型评测功能可以评测模型实际效果评测入口在模型详情页右上角。 表中给出的是最低所需配置机型在Model Gallery的部署页面的资源规格选择列表中系统已自动过滤出模型可用的公共资源规格。 模型 最低配置 支持的最大Token数 部署方式为BladeLLM加速推荐 部署方式为SGLang加速推荐 部署方式为vLLM加速 部署方式为标准部署 DeepSeek-R1 8卡GU1208 * 96 GB显存 不支持 163840 4096 不支持 DeepSeek-V3 8卡GU1208 * 96 GB显存 不支持 163840 4096 2000 DeepSeek-R1-Distill-Qwen-1.5B 1卡A1024 GB显存 131072 不支持 131072 131072 DeepSeek-R1-Distill-Qwen-7B 1卡A1024 GB显存 131072 不支持 32768 131072 DeepSeek-R1-Distill-Llama-8B 1卡A1024 GB显存 131072 不支持 32768 131072 DeepSeek-R1-Distill-Qwen-14B 1卡GPU L48 GB显存 131072 不支持 32768 131072 DeepSeek-R1-Distill-Qwen-32B 2卡GPU L2 * 48 GB显存 131072 不支持 32768 131072 DeepSeek-R1-Distill-Llama-70B 2卡GU1202 * 96 GB显存 131072 不支持 32768 131072
部署方式说明 BladeLLM 加速部署BladeLLM是阿里云 PAI 自研的高性能推理框架。 SGLang 加速部署SGLang是一个适用于大型语言模型和视觉语言模型的快速服务框架。 vLLM 加速部署vLLM是一个业界流行的用于LLM推理加速的库。 标准部署不使用任何推理加速的标准部署。
推荐使用加速部署BladeLLM、SGLang性能和支持的最大Token数都会更优。
加速部署仅支持API调用方式标准部署支持API调用方式及WebUI chat界面。
模型部署 进入Model Gallery页面。 登录PAI控制台。 在顶部左上角根据实际情况选择地域。 在左侧导航栏选择工作空间列表单击指定工作空间名称进入对应工作空间。 在左侧导航栏选择快速开始 Model Gallery。 在Model Gallery页面右侧的模型列表中找到需要部署的模型卡片例如DeepSeek-R1-Distill-Qwen-32B模型单击进入模型详情页面。 单击右上角部署选择部署方式和部署资源后即可一键部署生成一个 PAI-EAS 服务。 说明 如果部署DeepSeek-R1或DeepSeek-V3模型您可以选择的机型包括 ml.gu8v.c192m1024.8-gu120、ecs.gn8v-8x.48xlarge公共资源库存可能较紧张 ecs.ebmgn8v.48xlarge无法通过公共资源使用请购买EAS专属资源 模型调用
您可以通过下表了解不同部署方式支持的模型调用方式。 BladeLLM部署 SGLang部署 vLLM部署 标准部署 WebUI 不支持需本地启动WebUI。详情请参见WebUI使用。 支持 在线调试 支持。详情请参见在线调试。 API调用 所有部署方式都支持通过以下接口发送HTTP POST请求调用模型。 completions 接口EAS_ENDPOINT/v1/completions chat 接口EAS_ENDPOINT/v1/chat/completions 注意标准部署还支持Endpoint后面不添加任何内容直接调用。详情请参见API调用。 重要 使用BladeLLM加速部署方式如果不指定max_tokens参数默认会按照max_tokens16进行截断。建议您根据实际需要调整请求参数max_tokens。 WebUI使用
如果是标准部署支持Web应用。在PAI-Model Gallery 任务管理 部署任务中单击已部署的服务名称在服务详情页面右上角单击查看WEB应用即可通过ChatLLM WebUI进行实时交互。 非标准部署可下载Web UI代码在本地启动一个Web UI。
注意BladeLLM和vLLM、SGLang部署使用的Web UI代码不同。 BladeLLMBladeLLM_github、 BladeLLM_oss vLLM、SGLangvLLM_github、vLLM_oss
python webui_client.py --eas_endpoint EAS API Endpoint --eas_token EAS API Token 在线调试
在PAI-Model Gallery 任务管理 部署任务中单击已部署的服务名称在在线测试模块中找到EAS在线调试的入口使用如下示例数据测试接口。
注意在线调试中已经填充的路径是以下示例中的EAS_ENDPOINT。
单击查看请求数据示例
API调用 在PAI-Model Gallery 任务管理 部署任务中单击已部署的服务名称进入服务详情页。 单击查看调用信息获取调用的 Endpoint 和 Token。 单击预训练模型跳转到Model Gallery的模型介绍页查看API调用方式的详细说明。
关于成本 由于DeepSeek-V3和DeepSeek-R1模型较大模型部署费用较高建议用于正式生产环境。 您还可以选择部署经过知识蒸馏的轻量级模型这些模型的参数量显著减少从而大幅降低部署成本。 如果您从未使用过EAS可以前往阿里云试用中心领取PAI-EAS试用资源。领取成功后可以在Model Gallery选择最低配置为 A10 的模型如DeepSeek-R1-Distill-Qwen-7B进行部署并在部署时修改资源规格为试用活动中的机型。 对于长期使用的模型您可以采用公共资源组搭配节省计划的方式或者购买预付费EAS资源组来节约成本。 如果是非生产环境使用可以在部署时打开竞价模式但需满足一定条件才能竞价成功且有资源不稳定的风险。
FAQ
点击部署后服务长时间等待
可能的原因 当前地域下机器资源不足。 由于模型较大模型加载耗时较长对于DeepSeek-R1、DeepSeek-V3这样的大模型需要20-30min。
您可以耐心等待观察一段时间如果服务仍长时间无法正常启动运行建议尝试以下步骤 进入任务管理-部署任务查看部署任务详情页。在页面右上角单击更多 更多信息跳转到PAI-EAS的模型服务详情查看服务实例状态。 关闭当前服务并在控制台左上角切换到其他地域重新部署服务。 说明 对于DeepSeek-R1、DeepSeek-V3这样的超大参数量模型需要8卡GPU才能启动服务资源库存较紧张您可以选择部署DeepSeek-R1-Distill-Qwen-7B等蒸馏小模型资源库存较富裕。
服务部署成功后调用API返回404
请检查调用的URL是否加上了OpenAI的API后缀例如v1/chat/completions。详情可以参考模型主页调用方式介绍。
请求太长导致EAS网关超时
EAS默认网关的请求超时时间是180秒如果需要延长超时时间可以配置EAS专属网关并提交工单调整专属网关的请求超时时间最大可以调整到600秒。
部署完成后如何在EAS的在线调试页面调试
详情请参见如何在线调试已部署的模型
模型部署之后没有“联网搜索”功能
“联网搜索”功能并不是仅通过直接部署一个模型服务就能实现的而是需要基于该模型服务自行构建一个AI应用Agent来完成。
通过PAI的大模型应用开发平台LangStudio可以构建一个联网搜索的AI应用详情请参考Chat With Web Search应用流。
模型服务如何集成到AI应用以Dify为例
以DeepSeek-R1-Distill-Qwen-7B模型为例建议采用vLLM加速部署。 在Dify中编辑“模型供应商”添加更多模型供应商“OpenAI-API-compatible” 模型名称填写“DeepSeek-R1-Distill-Qwen-7B”API Key填写EAS服务TokenAPI endpoint URL填写EAS服务endpoint注意末尾加上/v1。EAS服务Token和endpoint获取方式进入Model Gallery的任务管理-部署任务在部署任务详情页面单击查看调用信息。
