新智元报道
编辑：编辑部
【新智元导读】多模态 Llama 3 还未发布，已经用在科幻中存在的 AR 眼镜上了！不仅能为你搭配衣服，还能打视频、实时翻译，只要你能想到的，它全能实现。
科幻大片中的 AR 黑科技，竟走进了现实！
就在刚刚，Meta 自家的雷朋智能眼镜，已经开始支持多模态版的 Llama 3 了！要知道，Llama 3 的开源版本还没支持多模态呢。
就在最近，小扎还在访谈中承认愿意开源价值 100 亿美元的模型，不过，如果涉及到产品侧，那就是另一回事了。
诶，产品这不就来了么——
戴上这副智能眼镜，外出旅行坐车感到无聊时，可以让 Meta 来点音乐。
带着 AR 眼镜，还可以直接翻译不认识的语言。又或者在路上腾不出手时，Meta 可以给好友发语音信息。
走到一座建筑前，呼叫 Meta 告诉自己关于它更多的信息。
甚至，视频电话、直播，科普等，只要是你能想到的，AR 眼镜全可以做的到。
Meta 介绍，去年 12 月便开始在雷朋 Meta 智能眼镜上，测试了多模态 AI。目前，已经在美国和加拿大地区销售的眼镜上推出了这一新功能。
小扎也来炫技了
这款眼镜配备了一个 1200 万像素的摄像头和五个麦克风，集成 Meta AI 助手后，意味着带着它可以做更多的事。
你看到的任何东西，它都能描述出来。
只需说一句，「Hey Meta，看看这个，告诉我它是什么？」，语音命令即可控制。
看着厨房柜台上一堆食材，Meta 能够迅速制作出相关的食谱。
更有意思的是，小扎本人还在 Ins 发布一个带上智能眼镜，为自己挑选衣服的视频。
他挑选了一个深色的衬衣，并问 Meta 我应该搭配个什么样的裤子。Meta 给出了牛仔裤、短裤的建议。
他还让智能眼镜给一张萌宠的照片，配上了有趣的描述。
小扎手里拿着一种水果，智能眼镜能告诉他这是面包果。
而对于 AR 眼镜来说，实时翻译将成为一款杀手级应用。
当你旅行时，正在试着读一份法语菜单。不用查阅手机，智能眼镜就可以完成实时翻译。
它甚至可以阅读不同语言的手势，简直是旅行必备单品。
此外，除了得到多模态 Llama 3 的加持，Meta 还公布了智能眼镜集成了 WhatsApp 和 Messenger 的免提视频通话。
与此同时，不同时尚款式的镜框设计，都可以专配处方镜使用。
不过，这款智能眼镜起价为 300 美元（2100 元），并不便宜。
实测外出识物，比手机方便
蹭着更新的热乎劲儿，外媒 The Verge 发布了提前拿到内测资格的评测。
前段时间，Humane 智能设备 AI Pin 因性能不如人意，全网陷入了非议之中。关键是 700 美元，根本不值。
作者表示，「我们要对 Meta 智能眼镜的期望值不要太高，因为它并非无所不能」。
测试中的一半的乐趣，就是找到它的极限在哪。
它能否正确识别街上这辆随机的汽车？（一辆 Alfa Romeo Giulia Quadrifoglio 和一辆 Alfa Romeo Tonale）。
与大多数 AI 一样，Meta AI 有时非常准确，有时又会出现幻觉。
它正确地识别出了 Giulia。但 Tonale 也被识别为 Giulia。
但有趣的是，这两款车几乎没有相似之处，Giulia 是一款轿车，而 Tonale 是一款跨界 SUV。
作者还让它识别自己种的多肉植物（由于有些是别人送的，自己也并不完全清楚具体品种）。
Meta 回答的是，「Echeveria、aloe vera 芦荟和 Crassula 品种」。
但其实，作者用可通过 AI 照片识别植物的应用程序 Planta 进行验证，发现植物当中没有一株是 Echeveria。
最精彩的是，作者的爱人偶然看到邻居家后院一只大松鼠，戴上智能眼镜去要识别出是什么品种。
作者用手机拍下了照片，并用另一款应用试了一番。
果然，Meta 识别错了，而作者使用的 APP 成功识别出它是土拨鼠。
然而，当再用智能眼镜去识别手机中的照片时，确给出了「土拨鼠」正确的答案。
这个案例中，说明了 AR 眼镜缺少「变焦」功能，才导致回答错误。
除了多模态识别能力之外，作者测试其与手机配对时，响应速度也是非常地快。同时，智能眼镜将声音功能集成一体，省去了戴眼镜的麻烦，让交互更加自然。
总得来说，Meta 智能眼镜在户外活动，AI 助手在识别事物上发挥了巨大的作用。
以往，作者外出看到感兴趣的东西时，需要掏出手机拍照在识别。
而现在，智能眼镜也可以很好地延伸手机的能力，前提是不要将想要识别的内容放大很多倍。
参考资料：
https://about.fb.com/news/2024/04/new-ray-ban-meta-smart-glasses-styles-and-meta-ai-updates/
https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables
