网站建设沈阳凯鸿,誉铭摄影网站,ps常用素材网站有哪些,永川区门户网站建设轨迹科技云报道原创。
自从ChatGPT这样的大型语言模型在全球引起轰动以来#xff0c;很少有人注意到#xff0c;训练和运行大型语言模型正在产生惊人的碳排放量。
虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少#xff0c;但据第三方研究人员分析#xff0c;ChatG…科技云报道原创。
自从ChatGPT这样的大型语言模型在全球引起轰动以来很少有人注意到训练和运行大型语言模型正在产生惊人的碳排放量。
虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少但据第三方研究人员分析ChatGPT部分训练消耗了1287兆瓦时并导致了超过550吨的二氧化碳排放量这相当于一个人在纽约和旧金山之间往返550次。
事实上这只是训练时的排放量当AI大模型运行时还将排出更多的二氧化碳。
加拿大数据中心公司QScale联合创始人Martin Bouchard认为微软和谷歌为了满足搜索引擎用户日益增长的需求在搜索中加入ChatGPT这类生成式AI会导致每次搜索至少增加4到5倍的计算量。
如果还要经常重新训练模型并添加更多的参数计算量的规模就完全不同了。
根据国际能源署International Energy Agency的数据数据中心的温室气体排放量已经占到全球温室气体排放量的1%左右。
随着AI大模型和对云计算需求的增长这一数字预计还会上升。
AI大模型正在成为碳排放的一个重要来源。
降低AI大模型的碳排放
AI模型的训练和运营过程需要消耗大量能源但关键问题是如何知道及测算单个机器学习实验正在产生多少温室气体排放以及可以减少多少
目前数据科学家们仍无法简单可靠地获取该领域的测量结果这也妨碍着进一步制定可行的应对策略。
针对这一问题谷歌发表了一项研究详细介绍了最先进的语言模型的能源成本包括早期和更大版本的LaMDA。
研究结果表明将高效的模型、处理器和数据中心与清洁能源相结合可以将机器学习系统的碳足迹减少1000倍。
该团队提出了四种基本方法可显着减少机器学习工作负载的碳和能源足迹这些方法目前在Google中使用任何使用Google Cloud服务的人都可以使用。
Google能源和碳足迹减少最佳实践4Ms如下
模型研究人员表示选择高效的ML模型架构至关重要因为它有可能提高ML质量同时将计算时间缩短一半。 机器与通用处理器相比使用专门用于ML训练的处理器和系统可以将性能和能效提高2倍至5倍。 机械化大多数情况下本地数据中心更老、更小。因此新的节能冷却和配电系统的费用无法摊销。 基于云的数据中心是全新的、定制设计的仓库具有可容纳50000台服务器的能效特性。它们提供异常高效的电源利用率 (PUE)。
因此在云端而不是在本地进行计算可以节省1.4-2倍的能源并减少污染。
优化云允许客户选择具有最清洁能源的区域从而将总碳足迹减少5到10倍。基于4Ms改进的模型、特定于机器学习的硬件和高效的数据中心大大抵消了这种负载增加。 谷歌的数据表明机器学习训练和推理在过去三年中仅占谷歌整体能源使用量的10%至15%其中每年有35%用于推理25%用于训练。
为了找到改进的机器学习模型谷歌采用了神经架构搜索 (NAS)。
每个问题域/搜索空间组合通常只执行一次NAS然后可以将生成的模型重复用于数百个应用程序NAS的一次性成本通常被持续使用的减排量所抵消。
研究人员进行了一项研究来训练Transformer模型。
为此他们在典型的数据中心中使用了Nvidia P100 GPU其能源组合与全球平均水平相似而使用TPUv4等新一代ML硬件性能比P100提升了14倍。
同时高效的云数据中心比普通数据中心节省1.4倍的能源从而使总能耗降低83倍。
此外由低碳能源驱动的数据中心可以将碳排放量再减少9倍从而在四年内总共减少747倍。
谷歌团队认为在信息技术领域制造各种类型和规模的计算设备的生命周期成本比机器学习的运营成本要高得多。
排放估算的制造成本包括制造所有相关组件从芯片到数据中心建筑所排放的嵌入碳。
当然除了使用4Ms方法服务提供商和用户还可以采取简单的措施来提高他们的碳足迹绩效例如
客户应通过让数据中心提供商报告数据中心效率和每个位置的能源供应清洁度来分析和减少他们的能源使用和碳足迹。
工程师应该在最环保的数据中心中最快的处理器上训练模型这些数据中心越来越多地在云上。
机器学习的研究人员应该专注于设计更有效的模型如利用稀疏性或包括检索来减少模型。
此外他们应该报告他们的能源消耗和碳影响。这不仅会鼓励超越模型质量的竞争而且还可以确保对他们的工作进行正确的核算。
AI助力降低碳排放
尽管AI大模型是碳排放大户但以AI为代表的前沿科技也正在为降碳减排做出贡献。
百度与咨询机构IDCInternational Data Corporation联合进行的研究显示与AI相关的技术减碳贡献占比会逐年提升到2060年将至少达到70%减碳总量预计超过350亿吨。
以交通行业为例2020年中国交通行业的碳排放估测量为10.4亿吨占全国总体排放的9%。
而在驱动交通行业降碳减排过程中使用以智能信控为主的缓堵型智能交通技术可以有效提升城市主要道路交叉口的通行效率千万级人口城市因此每年可至少减碳4.16万吨——这相当于1.4万辆私家车行驶一年的碳排量。
从目前的实践来看理解和实现减排的关键是对减排的效果进行预测和监控而AI在节能减排中具有预测排放、监测排放、减少排放三个关键应用。
据《碳中和产业发展白皮书》显示在预测排放方面AI 能够根据当前减排工作和需求预测未来的碳排放量同时为碳排放定下排放量指引。
在监测排放方面AI 能实时跟踪碳足迹数据从采购、生产、销售、运维、物流等全环节收集数据提升监测准确性。
在减少排放方面AI 收集各环节数据后能够以全局视角对各环节工作流程做出优化调整。
事实上在AI助力碳减排方面目前国内多个领域已有应用。
在新能源领域突出问题在于其具有波动性、随机性、间歇性特点。
通过AI技术结合仿真计算对风光电的不稳定情况做场景预测如结合风速、风向、光照强度等自然气象特征对未来的发电量进行合理的预测向电网输出更精准的发电计划将新能源的不确定性、不稳定屏蔽在技术层之下。
再比如水务集团的管辖范围包括原水、制水、供水、排水、污水、节水等。
以居民供水为例水压过大所需能耗大管网漏损率高可能会引起爆管事件而水压过小可能会造成居民用水不便。
为了解决这一问题水务集团在地下部署硬件传感器监测水压、建设水务大脑在保证安全、稳定供水的前提下通过AI技术可以实现智能化调压控制、能耗优化。
不仅如此AI降碳技术也应用在电厂、园区、数据中心等能源消耗较高的业务场景中对其生产用电需求进行精确预测和控制进行耗电设备、碳足迹的优化。
结语
AI技术的进步给人类带来了诸多便利但也必须在发展中关注环境问题。
未来AI如何实现可持续发展以及AI如何更好地支撑双碳领域的变革仍是亟需各行业共同解决的问题。
【关于科技云报道】
专注于原创的企业级内容行家——科技云报道。成立于2015年是前沿企业级IT领域Top10媒体。获工信部权威认可可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。
