来源:环球时报
环球时报报道记者樊巍
美国当地时间 3 月 17 日,马斯克旗下的人工智能初创公司 xAI 正式宣布开源大模型 Grok-1,遵循 Apache 2.0 协议开放模型权重和架构。xAI 官网显示,xAI 已经将 Grok-1 的权重和架构在软件托管平台 GitHub 上开源。美国《纽约时报》17 日的报道称,马斯克开源 Grok 背后的原始代码,这是世界上最富有的人之一升级其控制人工智能未来战斗的结果。
xAI 在其官网上介绍,Grok-1 是 3140 亿参数的混合专家模型,这也让 Grok-1 成为迄今参数量最大的开源大语言模型,是 Llama 2 的 4 倍。相比之下,公开资料显示,OpenAI GPT-3.5 的参数量为 1750 亿,Grok-1 大幅领先。xAI 还在官网上进一步公布了 Grok-1 的一些细节,基础模型基于大量文本数据训练,未针对特定任务进行微调。3140 亿参数构成的混合专家模型,其中 25% 的参数能够针对特定的数据单元激活。
参数量究竟意味着什么?北京邮电大学人机交互与认知工程实验室主任刘伟 3 月 18 日接受《环球时报》记者采访时介绍称,参数量的大小,反映了模型的复杂度和表达的能力。参数量越多的模型,它学习复杂模式和关系、处理各种任务的能力更强。
然而 xAI 并没有在发布的内容中透露 Grok-1 的具体测试成绩,对于 Grok-1 的真实水平,刘伟认为目前还难以判断。“但有一点可以确定,如果真如 xAI 公司所言,Grok-1 的参数量达到了 3140 亿,那么它的参数量比 OpenAI GPT-3.5 的 1750 亿参数量多了将近一倍,这意味着 Grok-1 的水平肯定要在 GPT-3.5 之上。”刘伟同时表示,Grok-1 是否比 GPT-4 更强,还不好下定论。此外,Grok-1 在落地之后,还要根据反馈不断地进行调整,目前对于 Grok-1 的“生产力”有多大,下判断还为时尚早。
Grok-1 一经发布,其引发的“开源”和“不开源”之争,就成为业内关注的焦点。xAI 正式宣布开源大模型 Grok-1 当天,马斯克还与 ChatGPT 在社交平台X上进行了“互动”,马斯克转发 OpenAI 的留言称,“告诉我们 OpenAI 到底 open 在哪里了”。
《纽约时报》报道称,所谓的开源,也就是通过将代码开放给所有人查看和使用,马斯克由此进一步介入了人工智能领域的一场激烈辩论,即开源是否有助于使技术更安全,还是只让它容易被滥用。
Grok-1 的发布也被美国媒体认为是马斯克与 ChatGPT 的研发公司 OpenAI 之间的最新一次交锋。此前,马斯克对 OpenAI、奥特曼提起诉讼,称该公司违背了最初对公共开源通用人工智能的承诺。
刘伟表示,可以预见的是,xAI 会对 openAI 产生非常大的冲击,因为 xAI 采用的是开源的路径。对于这当中涉及的“开源和闭源”之争。刘伟介绍称,开源的大模型一般有几个特点,首先它能够使更多的开发者共同参与到大模型的改进和优化。这可以很快地推进技术进步,而且能够实现知识共享,让很多人学习和理解模型的设计和实验方法。此外,开源还有一个特点就是能够集全球之力开发大模型,这有利于发现问题和解决问题。
“但同时,有一种观点认为,开源也存在着一些缺点。”刘伟进一步介绍称,用户在使用开源软件时可能需要依赖社区的支持,而社区支持可能不够及时或无法满足用户的特定需求。由于开源软件的开发人员分散在全球各地,因此其稳定性可能会有所不同。开源软件可能存在未经测试的功能或漏洞,这可能会影响软件的稳定性和可靠性。开源软件通常是由不同的社区成员开发,因此可能存在与其他软件或系统的集成问题。使用开源软件可能需要进行额外的配置和定制才能与其他软件或系统无缝集成。开源软件的源代码是公开的,这为黑客提供了更多的攻击面。