Snowflake 近期正式推出了 Arctic LLM，这是一款被描述为“企业级”的生成式 AI 模型。根据 Apache 2.0 许可协议， Arctic LLM 针对“企业工作负载”进行了优化，包括生成数据库代码等。 Snowflake 表示， Arctic LLM 可以免费用于研究和商业用途。
Snowflake CEO Sridhar Ramaswamy 在发布会上表示，他认为这是 Snowflake 及其客户构建企业级产品的基础，也是 Snowflake 实现 AI 承诺和价值的开端，是 Snowflake 在生成式 AI 领域的第一步，还有更多的创新在后面。
据悉，Arctic LLM 属于 Snowflake 的一系列生成式 AI 模型家族—— Arctic ，这是 Snowflake 的旗舰模型，该模型用了大约 3 个月、 1,000 个 GPU 和 200 万美元来训练。 Arctic LLM 是继 Databricks 的 DBRX 之后推出的，后者也是一个面向企业领域的生成式 AI 模型。
Snowflake 在其宣传材料中将 Arctic LLM 与 DBRX 进行了直接比较，称 Arctic LLM 在编程和 SQL 生成这两项任务上表现优于 DBRX 。Snowflake 表示， Arctic LLM 在这些任务上的表现也优于 Meta 的 Llama 2 70B （但不如更新的 Llama 3 70B ）和 Mistral 的 Mixtral-8x7B 。
Snowflake 声称 Arctic LLM 在一个受欢迎的通用语言理解基准 MMLU 上实现了“领先性能，尽管 MMLU 据称可以评估生成式模型解决逻辑问题的能力，但它包括可以通过死记硬背解决的测试，因此这一点需要谨慎对待。
Snowflake AI 负责人 Baris Gultekin 表示，Arctic LLM 针对企业部门的特定需求，而不是一般性的 AI 应用，比如创作诗歌，而是专注于企业导向的挑战，如开发 SQL 辅助工具和高质量聊天机器人。
Arctic LLM ，就像 DBRX 和谷歌目前性能最强的生成式模型 Gemini 1.5 Pro 一样，采用 MoE 架构。MoE 架构基本上将数据处理任务分解为子任务，然后分配给较小的、专门的“专家”模型。
虽然 Arctic LLM 含有 4800 亿个参数，但一次只激活 170 亿个，足以驱动 128 个独立的专家模型。截至 2024 年 4 月 16 日，snowflake-arctic-embed-l 是基于其性能尺寸比、可用于生产的最强大的开源模型。
Snowflake 表示，Arctic 性能优于 Snowflake-arctic-embed-l 的模型，例如 SFR-Embedding-Mistral，在嵌入模型提供商中广泛使用，其矢量维数大四倍（1024 与 4096），并且参数多出 20 倍以上（3.34 亿与 71 亿）。
借助 Apache 2 许可的 Snowflake Arctic 嵌入模型系列，组织现在拥有了一种比 Cohere、OpenAI 或 Google 等黑盒 API 提供商更开放的替代方案。 如下表所示，snowflake-arctic-embed-l 的检索性能优于 Open AI，其估计参数仅为 Open AI 的四分之一，维度为 Open AI 的三分之一。
Snowflake 声称，这种高效的设计使得他们能够以“大约八分之一的成本”在开放的公共网络数据集，包括 RefinedWeb 、 C4 、 RedPajama 和 StarCoder 上训练 Arctic LLM 。
Snowflake 提供了诸如代码模板和训练资源列表等资源，以帮助用户了解如何启动和运行模型，并根据特定用例进行微调，但鉴于微调或运行 Arctic LLM 需要大约 8 个 GPU ，这可能是大多数开发人员难以承受的成本和复杂性， Snowflake 承诺将在包括 Hugging Face 、 Microsoft Azure 、 Together AI 的模型托管服务和企业生成式 AI 平台 Lamini 在内的多个托管平台上提供 Arctic LLM 。
据悉，Arctic LLM 将首先在 Cortex 平台上提供，这是 Snowflake 用于构建 AI 和机器学习应用程序与服务的平台。CEO Sridhar Ramaswamy 表示，Snowflake 希望在一年内实现一个 API ，让客户可以直接与数据对，本来 Snowflake 可以简单地等待一些开源模型，然后使用它们。但目前选择做一个基础性的投资，因为他们认为这会为 Snowflake 的客户带来更多价值。
PS：回顾 2023 年至今，大部分 AI 炒作都集中在基础模型的横向能力上，但 AI 的真正机会在于，，
Reference：
