策划制作｜钛媒体视觉中心，编辑｜刘亚宁，作图｜初彦墨
2024 年刚开年，OpenAI 推出的文生视频工具 Sora 再次风靡全球，成为了 OpenAI 继 ChatGPT 之后新的生成式 AI 标杆。AI 重塑世界，也可能会让环境资源付出巨大的代价。
据《纽约客》杂志引援国外研究机构报告，ChatGPT 每天要响应大约 2 亿个请求，在此过程中消耗超过 50 万度电力，也就是说，ChatGPT 每天用电量相当于 1.7 万个美国家庭的用电量。而随着生成式 AI 的广泛应用，预计到 2027 年，整个人工智能行业每年将消耗 85 至 134 太瓦时（1 太瓦时=10 亿千瓦时）的电力。
除了耗电，和 ChatGPT 或其他生成式 AI 聊天，也会消耗水资源。加州大学河滨分校研究显示，ChatGPT 每与用户交流 25-50 个问题，就可消耗 500 毫升的水。而 ChatGPT 有超过 1 亿的活跃用户，这背后消耗的水资源无疑是令人震惊的。
训练一个大模型，科技巨头每年都消耗了多少能源？本期钛媒体·钛度图闻带你关注。
AI 大模型参数突破百万亿级别，训练一次有多烧钱？
在大模型的训练中，语料信息的规模是很重要的。一般来说，语料规模越大，其蕴含的信息就越丰富，模型所形成的参数越大，具有更好的泛化能力。为了获得智能水平更高的大模型，AI 模型的语料规模和参数规模越来越大。
从参数规模上看，大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。2017 年，谷歌首次提出 6500 万参数的 Transformer 模型，自此大模型就开始走上了一条快速发展之路。
2018 年，谷歌发布基于 Transformer 的 BERT，BERT 学习了 16GB 的语料，形成 3.4 亿个参数；2019 年，OpenAI 推出了 15 亿参数的 GPT-2，同年，谷歌推出 T5 模型，参数达到 110 亿。从十亿级到百亿级，大模型在一年内实现跃升。2020 年，OpenAI 推出了 1750 亿参数的 GPT-3；2021 年，谷歌推出 Switch Transformer 架构，其参数量扩展到了 1.6 万亿；同年，北京智源人工智能研究院也推出参数量在万亿级别的模型“悟道”。2022 年，清华大学、阿里达摩院等机构的研究人员提出的“八卦炉”模型，其具有 174 万亿个参数，可与人脑中的突触数量相媲美。如今，大模型参数量已实现百万亿级的突破。
目前，人工智能公司很少公开谈论大模型的训练成本，但相关研究估计这些模型的训练成本可高达数百亿美元。斯坦福大学发布的《2023 年人工智能指数报告》，基于已有大模型披露的硬件和训练时间，对其训练成本进行了估算。
2019 年，OpenAI 发布的大语言模型 GPT-2 参数量为 15 亿，它的训练成本约为 5 万美元左右；到了 2020 年，训练 1750 亿参数量的 GPT-3 的费用大概是 180 万美元。GPT-3 比 GPT-2 的参数量扩大了 117 倍，其训练费用也增加了 36 倍。大型语言和多模态模型如“吞金兽一般”，变得越来越大，也越来越贵。
生成式 AI 多耗能：ChatGPT 日耗电量超 50 万度
训练大模型需要大量的能源，比传统的数据中心要消耗更多的电力。OpenAI 曾发布报告指出，自 2012 年以来，AI 训练应用的电力需求每 3 到 4 个月就会翻一倍。华为 AI 首席科学家田奇也曾给出数据，AI 算力在过去 10 年至少增长了 40 万倍。AI 大模型可谓是“耗电巨兽”。
研究显示，训练谷歌于 2022 年发布的大语言模型 PaLM 需要消耗 3436 兆瓦时的电量，约等于 11.8 万美国普通家庭日耗电量（美国普通家庭日均耗电量约为 29 千瓦时）；就算训练参数量为 3.4 亿的 BERT 模型，也需要消耗 1.5 兆瓦时的电量，相当于观看 1875 小时的流媒体。
据了解，AI 服务器和芯片是产生能耗最主要的地方。通用型服务器只需要 2 颗 800W 服务器电源，而 AI 服务器则需要 4 颗 1800W 高功率电源，AI 服务器对于电源的需求大大提升。荷兰一位学者表示，到 2027 年，新制造的人工智能设备的用电量将与荷兰、瑞典、阿根廷等国的用电量一样。
除了耗电，由于算力设备的冷却需求，AI 消耗的水资源数量也惊人。
谷歌环境报告显示，2022 年谷歌的用水量达到了 56 亿加仑水（约 212 亿升水），相当于 8500 个奥运会规格的游泳池，这些水被用来为该公司的数据中心散热。不仅如此，在微软的美国数据中心训练 GPT-3 使用的水量相当于填满一个核反应堆的冷却塔所需的水量，大约 70 万升。而用户在使用生成式 AI 工具时也需要耗水。研究显示，ChatGPT 每与用户交流 25-50 个问题，就可消耗 500 毫升的水。研究人员预计，到 2027 年，全球范围内的 AI 需求可能会需要消耗掉 66 亿立方米的水资源，几乎相当于美国华盛顿州全年的取水量。
除了消耗大量的电力和水资源，AI 大模型还是碳排放大户。斯坦福大学报告显示，OpenAI 的 GPT-3 模型在训练期间释放了 502 公吨碳，是目前大模型中有据可查耗能最严重的，它的碳排放量是 Gopher 模型的 1.4 倍， 是 BLOOM 模型的 20.1 倍，约等于 8 辆普通汽油乘用车一生的碳排放量，人均 91 年的碳排放量。
随着科技日新月异，未来 AI 大模型会层出不穷。不可否认的是，生成式 AI 的出现给社会生活带来了巨大的助力，但 AI 给人类带来效率提升的同时也可能引发能源危机。所以，科技巨头们还需从算法和模型优化、硬件优化、训练和计算技巧等方面入手，让 AI 功耗在一定程度上降低。
数据来源：斯坦福大学《2023 年人工智能指数报告》、《AI 专题：重新思考对 AI 能源使用的担忧》、中国政府网等公开资料整理。
