节庆时候的网站是怎么做的,那种网站后台最好,软件开发的本质,网站建设管理经验做法日前Meta正式发布了Llama 3.1开源大模型#xff0c;以其庞大的参数量和卓越性能#xff0c;首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。允许开发者自由地进行微调、蒸馏#xff0c;甚至在任何地方部署#xff0c;这种开放性为AI技术的普及和创新提供了无限可能…日前Meta正式发布了Llama 3.1开源大模型以其庞大的参数量和卓越性能首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。允许开发者自由地进行微调、蒸馏甚至在任何地方部署这种开放性为AI技术的普及和创新提供了无限可能。 Llama 3.1支持128k的上下文长度和多语言能力无论是在基本常识、可操作性还是数学、工具使用和多语言翻译方面都展现出了行业领先的能力。
紧随其后芯片巨头Intel迅速响应宣布其AI产品组合已全面适配Llama 3.1并针对Intel AI硬件进行了软件优化。 包括了数据中心、边缘计算以及客户端AI产品确保用户能够在Intel平台上获得最佳的性能体验。
Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等确保了从研发到部署的全流程支持。
目前Intel AI PC及数据中心AI产品组合和解决方案已面向全新Llama 3.1模型实现优化OPEA企业AI开放平台亦在基于Intel至强等产品上全面启用。
根据基准测试在第五代Intel至强平台上以1K token输入和128 token输出运行80亿参数的Llama 3.1模型可以达到每秒176 token的吞吐量同时保持下一个token延迟小于50毫秒。
在配备了酷睿Ultra处理器和锐炫显卡的AI PC上进行轻量级微调和应用定制比以往更加容易并且AI工作负载可无缝部署于CPU、GPU以及NPU上同时实现性能优化。 基于第五代Intel至强可扩展处理器的Llama 3.1推理延迟 在配备内置Intel锐炫显卡的Intel酷睿Ultra 7 165H AI PC上Llama 3.1推理的下一个token延迟 在使用Intel锐炫A770 16GB限量版显卡的AI PC上Llama 3.1推理的下一个token延迟 基于Llama 3.1的端到端RAG流水线由Intel Gaudi 2加速器和至强处理器提供支持
