新智元报道
编辑：润
LLM 开源从 Infra 做起！Meta 公布了自己训练 Llama 3 的 H100 集群细节，看来 Llama 3 快来了。
每年 3 月份，照例各家大厂又要开始秀自己最新的产品和研究了。
OpenAI 刚刚发布了震惊世人的 Sora，最新的 ChatGPT 版本似乎也是箭在弦上。
谷歌更是举全公司之力，从去年底就开始放出了包括 Gemini Ultra，Gemini 1.5，Gemma 在内，各分支赛道上的惊艳成果。
可是作为开源 AI 的扛把子，Meta 在去年发布了 Llama 2 和后续的模型后，就一直缺少有影响力的产品问世。
而对于开源社区来说，OpenAI 虽好，可 Meta 才是大家真的衣食父母。大家都在翘首以待 Llama 3 的发布。
在 Llama 3 公开之前，不甘寂寞的 Meta 还是想到办法在行业内刷了一波存在感——秀肌肉。
Meta AI 刚刚发表了一份技术博客，向公众展示了自己拥有的算力资源，以及 Meta 布局 AI Infra 的具体细节和路线图。
根据 Meta 的规划，到 2024 年底它将拥有 35 万个英伟达 H100GPU，而未来算力储备将达到夸张的 60 万个 H100。
而光有大量的 GPU 还远远不够，如如何有效地把硬件资源组织成高效的算力集群才是关键。
Meta 还公布了它构建的由 24576 个 H100GPU 构成的，正在用于训练 Llama 3 的集群细节。
Pytorch 创始人的给出的总结：
正在训练大模型的公司赶快来抄 Meta 的作业了！
Meta 的 H100 集群细节
在 Meta2022 年公布的研究超级集群（RSC）基础之上，这两个 100 集群进一步在高性能网络结构的效率、一些关键存储决策上进行了优化。
从而使得这两个集群都能支持比 RSC 所能支持的模型更大，更复杂的模型，从而为未来 AI 研究提供更加强悍的动力。
集群的网络细节
Meta 每天处理数百万亿个人工智能模型的任务和操作。
大规模提供这些服务需要高度先进且灵活的基础设施。定制设计 Meta 自己的大部分硬件、软件和网络结构，使他们能够优化人工智能研究人员的端到端体验，同时确保数据中心高效运行。
考虑到 Meta 的这个具体需求，它构建了这一个集群。
该集群采用基于 Arista 7800 的远程直接内存访问 (RDMA) 融合以太网 (RoCE) 网络结构解决方案，配备 Wedge400 和 Minipack2 OCP 机架式交换机。
另一个集群采用英伟达 Quantum2 InfiniBand Fabric。这两种解决方案都能实现 400 Gbps 端点互联。
有了这两个解决方案，Meta 就能够评估这些不同类型的互连是否适合大规模培训以及是否具有可扩展性，从而为 Meta 今后如何设计和构建更大、更大规模的集群提供更多经验。
通过对网络、软件和模型架构的精心共同设计，Meta 已经成功地将 RoCE 和 InfiniBand 集群用于大型 GenAI 工作负载（包括 Meta 正在 RoCE 集群上对 Llama 3 进行的训练），并且没有出现任何网络瓶颈。
计算平台细节
这两个集群均使用 Grand Teton 构建，Grand Teton 是 Meta 内部设计的开放式 GPU 硬件平台，Meta 已将其贡献给开放计算项目 (OCP)。
Grand Teton 建立在多代 AI 系统的基础上，将电源、控制、计算和结构接口集成到一个机箱中，以获得更好的整体性能、信号完整性和散热性能。
它采用简化设计，具有快速可扩展性和灵活性，可快速部署到数据中心机群中，并易于维护和扩展。
结合其他内部创新技术，如 Meta 的开放式机架电源和机架架构，Grand Teton 使 Meta 能够针对自己当前和未来的应用构建新的集群。
从 2015 年的 Big Sur 平台开始，Meta 一直在公开设计自己的 GPU 硬件平台。
存储系统细节
存储在人工智能训练中扮演着重要角色，但却是最不受关注的方面。
随着时间的推移，GenAI 训练工作变得越来越多模态化，需要消耗大量的图像、视频和文本数据，因此对数据存储的需求迅速增长。
将所有数据存储纳入一个高性能、高能效的空间的需求，使得问题变得更加有趣。
Meta 的存储部署通过自创的用户空间 Linux 文件系统（FUSE）应用程序接口（API）来满足人工智能集群的数据和检查点需求，该应用程序接口由 Meta 针对闪存媒体进行了优化的 「Tectonic 」分布式存储解决方案版本提供支持。
这个解决方案使数千个 GPU 能够以同步方式保存和加载检查点（这对任何存储解决方案来说都是一个挑战），同时还提供了数据加载所需的灵活、高吞吐量的外字节级存储。
Meta 还与 Hammerspace 合作，共同开发并部署并行网络文件系统 (NFS)，以满足该人工智能集群对开发人员体验的要求。
除其他优势外，Hammerspace 还能让工程师使用数千个 GPU 对作业进行交互式调试，因为环境中的所有节点都能立即访问代码更改。
将 Meta 的 Tectonic 分布式存储解决方案和 Hammerspace 结合在一起，可以在不影响规模的情况下实现快速迭代。
在 Meta 的 GenAI 集群中，Tectonic 和 Hammerspace 支持的存储部署都基于 YV3 Sierra Point 服务器平台，并升级了 Meta 目前在市场上可以采购到的最新高容量 E1.S SSD。
除了更高的固态硬盘容量外，每个机架的服务器也进行了定制，以实现每台服务器吞吐能力、机架数量减少和相关能效之间的适当平衡。
利用 OCP 服务器作为像乐高积木一样的基本模块，Meta 的存储层能够灵活扩展，以满足该集群以及未来更大的人工智能集群的未来需求，同时具有容错能力，可满足日常基础设施维护操作的要求。
性能
Meta 构建大规模人工智能集群的原则之一是同时最大限度地提高性能和易用性，而不会顾此失彼。
这是创建一流人工智能模型的重要原则。
随着 Meta 不断挑战人工智能系统的极限，测试 Meta 扩展设计能力的最佳方法就是简单地构建系统、优化系统并进行实际测试（虽然模拟器可以提供帮助，但也只能到此为止）。
在这次设计过程中，Meta 比较了小型集群和大型集群的性能，从而找出瓶颈所在。
下图显示了 AllGather 的集体性能（以 0-100 为单位的归一化带宽），即大量 GPU 在信息大小为屋顶线性能预期的情况下相互通信时的性能。
从图中可以看到，小型集群性能（整体通信带宽和利用率）开箱即达到 90%+，但未经优化的大型集群性能利用率非常低，从 10% 到 90% 不等。在优化整个系统（软件、网络等）后，看到大型集群性能恢复到理想的 90%+范围。
与优化后的小型集群性能相比，Meta 的大型集群开箱即用性能最初较差且不一致。
为了解决这个问题，Meta 对内部作业调度程序的调度方式做了一些改变，使其具有网络拓扑意识——这带来了延迟优势，并最大限度地减少了流向网络上层的流量。
Meta 还结合英伟达集体通信库（NCCL）的变化优化了网络路由策略，以实现最佳网络利用率。
这有助于推动 Meta 的大型集群实现与小型集群一样出色的预期性能。
除了针对内部基础设施的软件变更外，Meta 还与编写培训框架和模型的团队密切合作，以适应不断发展的基础设施。
例如，英伟达 H100 GPU 为利用 8 位浮点（FP8）等新数据类型进行训练提供了可能。
充分利用更大的集群需要投资更多的并行化技术，而新的存储解决方案则为高度优化数千个等级的检查点提供了机会，使其能够在数百毫秒内运行。
Meta 还认识到，可调试性是大规模训练的主要挑战之一。
在大规模训练中，识别导致整个训练工作停滞的问题 GPU 变得非常困难。
Meta 正在开发 desync 调试或分布式集体飞行记录器等工具，以揭示分布式训练的细节，帮助以更快、更简单的方式发现问题。
最后，Meta 还在继续改进 PyTorch（为 Meta 的人工智能工作负载提供动力的基础人工智能框架），使其能够满足数万甚至数十万 GPU 的训练需求。
Meta 已经发现了流程组初始化的多个瓶颈，并将启动时间从有时的几个小时缩短到几分钟。
致力于开放式人工智能创新
Meta 始终致力于人工智能软件和硬件的开放式创新。
他们相信，开源硬件和软件将始终是帮助行业大规模解决问题的宝贵工具。
如今，Meta 作为 OCP 的创始成员，继续支持开放式硬件创新，向 OCP 社区提供 Grand Teton 和 Open Rack 等设计。
Meta 还是 PyTorch 的最大和主要贡献者，PyTorch 是一个人工智能软件框架，为整个行业提供了强大的动力。
Meta 还继续致力于人工智能研究社区的开放式创新。
Meta 已经启动了开放创新人工智能研究社区，这是一项面向学术研究人员的合作计划，旨在加深 Meta 对如何负责任地开发和共享人工智能技术的理解——尤其关注 LLM。
Meta 还发起了人工智能联盟（AI Alliance），这是一个由人工智能行业领先组织组成的团体，致力于在一个开放的社区内加速人工智能领域负责任的创新。
Meta 的人工智能工作建立在开放科学和交叉合作的理念之上。开放的生态系统为人工智能开发带来了透明度、监督和信任，并带来了每个人都能从中受益的创新，这些创新都是以安全和责任为首要考虑的。
Meta AI 基础设施的未来
这两个人工智能训练集群设计是 Meta 未来人工智能更大路线图的一部分。
到 2024 年底，Meta 的目标是继续扩大 Meta 的基础设施建设，其中将包括 35 万个 H100，未来会扩充到 60 万个 H100 GPU 的等效算力。
展望未来，Meta 认识到，昨天或今天的工作可能无法满足明天的需求。
因此，Meta 会不断评估和改进基础设施的各个方面，从物理层、虚拟层到软件层，以及未来出现的新维度。
Meta 的目标是创建灵活可靠的系统，以支持快速发展的新模式和研究。
参考资料：
https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/
