新智元报道
编辑：编辑部
马斯克 xAI 的多模态模型 Grok-1.5V 横空出世了！不仅多项基准测试超越 GPT-4V，而且看懂梗图写 Python 代码也都不在话下。并且，为了评估模型对于真实世界的空间理解，xAI 此次还推出了新基准 RealWorldQA。
马斯克的第一代多模态模型 Grok-1.5V，终于来了！
Grok 1.5V，号称是能连接数字世界和物理世界。
除了文本功能，它还能处理文档、图标、屏幕截图和照片之类的各种视觉信息。
很快，所有早期测试者和所有 Grok 用户就能用上 Grok 1.5V 了。
英伟达高级科学家 Jim Fan 发现了 Grok-1.5V 的「最大亮点」：在他看来，Grok-1.5V 最令人感兴趣的，就是解决自动驾驶边缘案例的潜力。
如果使用语言进行「思维链」，帮助汽车分解复杂场景，用规则和反事实进行推理，解释其决策，Grok-1.5V 就能将像素->动作映射提升为像素->语言->动作。
由此，特斯拉 FSD V13 就很有可能会理解语言 Token！
特斯拉的优势是，具有高度成熟的数据管线，因此，就不难用高质量的人类解释痕迹来标记大量边缘案例，在多模态 FSD 推理上，微调 Grok 的表现就很有可能会远胜于 GPT-4V 和 Gemini。
你可能会说，以前 Wayve 的 LINGO-1 不是也有类似的想法么？但别忘了，特斯拉正在旋转的，是一个无与伦比的数据飞轮，规模远超以前。
马斯克也适时地出现在了留言区，进一步解释道——
有两种数据源可以无限扩展，合成数据和真实世界视频。前者存在一个真伪的问题，而后者则不存在。
有网友表示，好家伙，这听起来是通往 AGI 最可行的路径了！具有显式语言推理的多模态模型，始终如一地推断世界模型。
模型能力
在 xAI 的官网上，对于 Grok-1.5V 是这样介绍的。
它可以和 GPT-4V、Claude 3 Sonnet、Claude 3 Opus 等这些最顶尖的多模态模型对打。
无论是多学科推理，还是文档理解、科学图表、表格、截图和照片等多个领域，Grok-1.5V 都和它们有的一拼。
尤其令人惊喜的，是它在理解物理世界时表现出的卓越能力。
在 RealWorldQA 基准测试中，没有思维链提示、零样本设置的情况下，用以下数据集对 Grok 进行评估，可以看到 Grok 的表现比同类模型更好。
下面 7 个具有代表性的例子，更说明了 Grok 1.5V 在不同场景中的良好表现。
1. 根据图表编写代码
下图给出了一个简单的猜谜游戏的流程图，Grok 可以根据流程图具体内容，使用 python 代码实现该流程。
用户：
你能把它翻译成 Python 代码吗？Grok：
当然！这张流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，而用户需要猜出它是什么。下面是表示流程图中逻辑的 Python 代码： import randomdef guess_number (): # Generate a random number between 1 and 10target = random.randint (1, 10)while True:guess = int (input ("Guess a number between 1 and 10: "))if guess == target:print ("You won!")breakelse:print ("Wrong guess, try again!")if __name__ == "__main__":guess_number () 这段代码将运行流程图中描述的猜谜游戏。在用户猜出正确数字之前，系统会一直提示用户输入猜测的数字。2. 计算卡路里
根据食品的营养配料表，Grok 可以知道该食品一份份量是 3 片、含有 60 卡路里的热量，由此计算出，用户给出 5 片该食品的卡路里总数是 100。
用户：
5 片含有多少卡路里？Grok：
如果一份包含 3 片，总热量为 60 卡路里，那么 5 片的热量大约是 100 卡路里。 首先，确定每片的热量：60 卡路里÷3 片=20 卡路里/片。 接着，将每片的热量乘以片数：20 卡路里 x5 片=100 卡路里。3. 从绘画到睡前故事
Grok 可以根据画作的内容，讲述一个简短的睡前故事。
比如下面这个随笔涂鸦：
用户：
这是我儿子画的，你能根据他的画讲一个睡前小故事吗？Grok：
很久很久以前，在一个充满冒险与奇迹的土地上，生活着一个勇敢的小男孩，名叫 Timmy。他与家人住在一个温暖的小屋里，最喜欢的事情就是探索周围的世界。 在一个阳光明媚的日子里，Timmy 决定去附近的森林探险。他准备了自己最爱的零食、一只指南针和一本信赖的笔记本，用来记录他即将见到的所有奇妙事物。 深入森林后，Timmy 发现了一条在阳光照耀下闪闪发光的神奇河流。河流的迷人景致让他决定做一只小纸船，把它放在水面上，作为对森林精灵的一份特别的问候。 Timmy 小心翼翼地折好纸船，并在上面画了一个笑脸，寄托了他对森林精灵的喜爱和祝福。随后，他轻轻地把纸船放在河流中，目送它随水漂流而去。 夕阳西下，Timmy 知道该回家了。他回想起在森林中度过的这一天，知道这段美好的记忆将永远伴随着他。 回到家，Timmy 向家人讲述了他的冒险，家人听后都感到非常高兴，并相信他未来定会经历更多精彩的冒险。 于是，带着满心的爱与梦想，Timmy 慢慢进入了梦乡，期待在他的想象世界里探索新的冒险。4. 看懂梗图
下面这张梗图，左边是初创公司，右边是大公司，讲的是什么意思呢？
小编第一眼是没看懂。看完 Grok 的解释，才恍然大悟。
用户：
我不是很理解这幅图，请解释一下。Grok：
这幅图幽默地展示了初创企业和大公司在工作方式上的差异。 在左侧的「初创企业」里，一群人齐心协力挖掘一个深洞，每个人都在积极地参与。 而在右侧的「大公司」里，只有一人在挖洞，其他人只是在旁边看着。 这幅图的幽默之处在于夸大了两种组织形态的不同。 初创企业通常会让每个人都直接参与到核心任务中，而大公司则可能因为其庞大的结构和官僚体制，使得团队成员无法接触到项目的每一个细节。5. 将表格转换为 CSV
Grok 可以将表格内容转换成 CSV 格式。
用户：
请将这个表转换为 CSV 格式。Grok：
图像中的表格可以转换成 CSV 格式，如下所示：medal,name,sport,event,date21 gold,El Amin Chentouf,Athletics,Mens marathon - T13,11 September31 gold,Mohamed Amguoun,Athletics,Mens 400m - T13,15 September41 gold,Azeddine Nouiri,Athletics,Mens shot put - T34,15 September52 silver,Mahdi Afri,Athletics,Mens 400m - T12,9 September62 silver,El Amin Chentouf,Athletics,Mens 5000m - T13,15 September73 bronze,Mahdi Afri,Athletics,Mens 200m - T12,17 September83 bronze,Mohamed Lahna,Paratriathlon,Mens PT2,10 September
请注意，CSV 格式不支持样式或格式化，因此信息以纯文本格式显示。6. 地板上的腐烂木头，都能给出建议
地板上的木材腐烂了怎么办？
照片拍给 Grok，它可以帮我们判断腐烂情况，还能给出合理的处理建议。
用户：
我地板上的螺丝周围出现了这些洞。是腐烂了吗？我应该更换木板吗？Grok：
这些木板似乎已经开始腐烂。从螺丝周围出现的孔洞可以看出，这是木材腐烂的典型迹象。 为了确保地板的安全并延长使用的寿命，建议你更换那些已经受损的木板。这样做可以避免地板进一步的损害，并保持其结构的稳固。 如果你不知道如何更换木板，可以寻求专业地板建造商或承包商的帮助。他们会对损害的程度进行评估，并为你提供关于地板维护的专业建议。7. 解决编码问题
编码问题，Grok-1.5V 也是不在话下。
用户：
你能写出解决这个问题的 Python 代码吗？Grok：
def find_triplets (nums):result = []nums.sort ()for i in range (len (nums) - 2):if i > 0 and nums[i] == nums[i - 1]:continuetarget = -nums[i]left = i + 1right = len (nums) - 1while left < right:if nums[left] + nums[right] == target:result.append ([-target, nums[left], nums[right]])left += 1right -= 1while left < right and nums[left] == nums[left - 1]:left += 1while left < right and nums[right] == nums[right + 1]:right -= 1elif nums[left] + nums[right] < target:left += 1else:right -= 1return result
对现实世界的理解
开发有用的现实世界 AI 助手，提高模型对物理世界的理解是至关重要的。
为了实现这一目标，研究团队还推出了一个新的基准——RealWorldQA。
该基准可以用于评估多模态模型对于基本现实世界空间的理解能力。
虽然当前基准中的许多示例对人类来说理解比较容易，但对于前沿模型来说还是具有一定的挑战性。
最初发布的 RealWorldQA 包含 700 多张图片，每张图片都有一个问题和易于验证的答案。
例如，如果我们问它：图片中的披萨刀和剪刀哪个物体更大？
Grok 给出的答案是：它们的大小差不多。
从当前车道可以去哪里？A.左转 B. 直走 C. 左转直行 D. 右转
Grok 会选A。
从轿车前方的摄像头来看，是否有足够的空间绕过前面的灰色轿车？
Grok 给出的答案是：是。
从这个图片来看，恐龙是朝向哪个方向？
Grok 回答：东。
除了其他真实世界的图像外，该数据集还包括从车辆上拍摄的匿名图像。
研究团队将该数据集进行了开源，并希望随着多模态模型的改进而不断扩展该数据集。
最后，xAI 官网总结道，凭着提高多模态理解和生成能力，它们将逐渐逼近构建能够理解宇宙的有益 AGI。
而接下来几个月里，估计我们还会看见图像、音频、视频等多模态上，这两项能力的重大改进。
参考资料：
