单机游戏大全免费

游戏大全

当前位置:首页 > 互联网 IT业界 > 清华系AI推理部署创企获华为战投领投!已完成昇腾国产卡适配优化

清华系AI推理部署创企获华为战投领投!已完成昇腾国产卡适配优化

admin 互联网 IT业界 47热度

  清昴智能投稿

  量子位公众号 QbitAI

  清华系围绕大模型创业的诸多团队中,还有一位较为低调隐秘的成员,清昴智能。

  定位是“AI 推理部署解决方案提供商”。

  近期,市场传来消息,华为战投领投了清昴智能的A轮融资。去年 6 月,该公司宣布完成数千万元的天使轮融资,由绿洲资本独家领投。

  据了解,华为战投领投的此轮融资,将主要用于加速算法研发、产品开发和团队扩充,

  根据量子位打听到的最新进展,技术方面,清昴智能完成昇腾国产卡适配优化,实现对标英伟达 A800 的性能和效果。

  产品方面,清昴联合华为推出大模型高性能推理一体机,释放国产算力。

  清昴智能是谁?

  清昴智能核心团队来自清华大学计算机系,在边缘计算和模型自动压缩领域拥有超过十年的深厚积累。

  创始人关超宇,曾荣获清华大学研究生特奖,并在研究生期间主导开源了首个自动图学习平台 AutoGL,带领团队在国际自动机器学习顶级赛事中多次夺冠。

  据介绍,清昴智能的目标是降低包括基础模型在内的 AI 使用和落地成本,通过优化模型的推理和部署环节,降低 AI 模型的使用门槛,让 AI 能够运行在任何设备上。

  为此,清昴智能推出了针对 AI 模型的推理优化工具链 MLGuider,该工具链针对当前主流的硬件环境进行适配与优化,除 Nvidia 外,还支持 AMD、Qualcomm、Ascend 等芯片。

  MLGuider 致力于成为适配任何硬件环境的优化与推理引擎,彻底释放硬件的生产力。

  在与客户的合作中,MLGuider 已被验证可将大语言模型在 AMD MI200 系列产品上实现对标 Nvidia A100 的性能,展现出强大的优化能力。

  基于 MLGuider,清昴智能还计划推出围绕基础模型的 LLMOps 平台,深度赋能大模型开发和落地的每个环节。

  该平台将帮助客户进行基础模型服务构建与企业微调,打造企业私有化大模型,同时优化模型性能,提升大模型的使用效率。

  此外,清昴智能还针对大模型落地的核心痛点,推出了大模型一体化整机方案、大模型开发部署 LLMOps 平台以及大模型本地化及边端部署方案等一系列产品矩阵。

  旨在实现极致的模型优化、高性价比的训推服务、低门槛的模型开发以及全栈的硬件适配,从而解决模型参数量大、显存与资源占用高、推理延迟高、成本高以及开发与部署周期长等问题。

更新时间 2024-05-05 07:10:13