白交衡宇发自凹非寺
量子位公众号 QbitAI
首个 AI 程序员，演示视频大幅度造假？？？
不久之前震撼硅谷的 Devin，再度震撼硅谷——但这次是被打假。
事情是这样的：油管程序员博主 Internet of Bugs（以下简称光头哥）对 Devin 的视频进行了逐帧分析，逐一举证说明了 Devin 并不如演示中那般神奇。
甚至有“自己现写 bug 然后当场修复”的骚操作。
其它“罪证”，包括但不限于：
号称能解决任何 Upwork 任务，但演示中解决的问题并不是 prompt 要解决的那一个，做无用功； 看起来在修复 bug，实际上修复的 bug 人类程序员根本就不会犯； 没有意识到简单两步就能解决问题，花里胡哨一顿操作，其实是自己把任务搞复杂了； 修改代码的水平一言难尽。此外，光头哥花了半个多小时，把 Devin 演示视频中的 upwork 任务完成了一遍——而 Devin 完成任务可能用时 6 个多小时。
啊这这这，真是好、大、一、口、瓜！
要知道，其背后公司 Cognition AI 手握 10 块 IOI 金牌的活招牌，还在推出 Devin 当月宣布成功融资 2100 万美金。
推特和 YC 上已经吵翻天了，让这件事的讨论度高居不下。
我请问呢？真的很讨厌演示造假，让 demo 看起来轻松达到意料之外的技术进步。
还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了。
emmmm……我还是把期待值全部留给 OpenAI、Anthropic、DeepMind、FAIR 这些公司和机构吧。
完整详情，一起接着往下看。
35 年从业者逐帧验证
此次出来声张正义的光头哥，从事软件行业已经 35 年。他首先声明自己的立场：我并不反对高科技，但我确实反对过度炒作。
他自己也经常使用 GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。
事实上，在 Devin 刚推出时候，他就反对过“世界上第一个 AI 软件工程师”这一说法。
此次则主要针对的是一些更为具体的说法。
比如之前 Devin 号称能够靠处理 upwork 任务来赚钱的。但在真正的演示中 Devin 并没有做到这一点。
不信？没关系，光头哥带着逐帧的证据来了。
总结如下：
Devin 所处理的任务并非随机，而是精心挑选； 与客户实际需求有很大的出入； 实际操作过程，数次自己创造 bug 然后再修复； 很多毫无意义的操作，相当于几十年前在C语言中才用的方法；首先，来到了演示视频的 2.936 秒处，在屏幕左上角有显示他们搜索过这个内容。因此，这不是所谓“随机”选择的任务。
再来看客户给到的具体需求。真正需求为“我想要利用这个库来进行推理。你需要提供详细的操作指南。我不想讨论完成这项工作预计需要的时间。”
但给到 Devin 的需求却是：我希望利用这个模型在这个库中进行推理。请自己弄明白。
最后视频末尾出现的 Devin 生成报告中，也没有提及客户实际需要的内容。
那么，这份工作的最终交付成果应该包括什么呢？
但 Devin 实际做了什么？
Devin 第一次真正的尝试，是它修改了一个名为 requirements.txt 文件，其中规定了代码所依赖的库版本。视频中提到它正在更新代码，但实际上更像是修改配置文件。
然后根据需求，需要 Devin 能建立自己的推理能力，并仅需使用样例数据即可。但实际项目要比这个复杂得多。
结果很快，Devin 就遇到了第一个命令行错误——打开图像失败、文件未找到、无此文件或目录等。但在光头哥实际复现时并没有出现，结果研究发现，代码仓库压根就不存在这个文件。
这相当于Devin 自己创建了个 bug，然后再修复 bug。在接下来的操作中，Devin 经历了很多次这样的“自建自修”。
不能说十分有用，只能说完全没有必要。
接下来，再来看看代码库中这样一个 readme 文件。正如视频所展示的那样，readme 文件清晰地说明了该文件的功能和用法。在页面右侧，甚至还有一个小按钮，点击它就可以复制整条命令，然后粘贴到命令行窗口中，按下回车即可运行。
但 Devin 完全没能理解，而又是自创了个项目。而写的那段从缓冲区读取数据的代码十分糟糕。
于是光头哥发出了灵魂拷问：这不就是几十年前在C语言等中才用的方法吗？？？
这种做法显然已经过时，正常人用 Python 谁还会再写这个代码。这种代码很难调试，它逻辑复杂，难以理解，很容易出现细微的错误。
此外，代码库中还存在一个真正的错误，但 Devin 既没有发现也没有修复。
然后光头哥用谷歌搜索，按照 GitHub 上一条相关评论修改了代码，只花了 1 分 07 秒，问题就解决了。
最终光头哥总共花了 35 分 55 秒复现了 Devin 的工作，而 Devin 实际花了多长时间呢？
如果细看视频 Demo，就会发现 Devin 处理工作前后有6 个小时 20 分钟的间隔。
视频的前部分显示的是 3 月 9 日下午3：25 的时间戳，但后半部分却显示的是当天晚上9：41。
而逐帧细看就有会发现一些奇怪且毫无意义的操作。
比如 head -N 5 results.json tail -N 5 这个命令，它表示取这个 JSON 文件的前五行，然后再取这些行的最后五行。
正确的做法应该是”head-5 results.json”。那个-N 是多余的。只要说 -5 就可以，不需要那些多余的东西。
最后光头哥锐评，AI 现在生成的内容有很多都十分愚蠢，反倒会让事情变得更为复杂。
当看到它的任务列表时，会觉得：哇，Devin 做了很多事情。但实际上可能并非如此。
网友：至少掌握了看起来很忙的技巧
对于此次 Devin 造假翻车，不少网友对现阶段 AI 产品炒作嗤之以鼻。
我真的很讨厌现在演示造假变得如此正常化
甚至还列出了三大炒作典范：Devin、rabbit、Humane。
也有网友调侃：Devin 至少掌握了看起来很忙的技巧。
嗯？打工人有被内涵到。
不过也有一些支持的网友，比如这位沃顿商学院的教授 Ethan Mollick。
他声称自己有早期访问权，在体验中发现真的很有趣。
他认为现在将 Agent 视作“炒作”为时尚早，未来几个月 Agent 的能力将十分强大。
号称“世界首个完全自主的 AI 软件工程师”
有意思的是，演示造假事件爆出来的时间，距离 AI 推出 Devin 仅过去了一个月。
咱们一起来回顾一下。
一个月前的 3 月 13 日，Cognition AI 在推特上介绍了自家推出的 Devin，并称其为“世界上首个 AI 软件工程师”。
只需一句指令，它可端到端地处理整个开发项目。
主创介绍，Devin 在长程推理和规划上面下了很大功夫，可以规划和执行需要数千个决策才能完成的复杂软件工程任务。
具体来说有 6 大功能：
端到端构建和部署程序，可以解决的不只是代码问题，还包括与之相关的整个工作流；
自主查找并修复 bug； 训练和微调自己的 AI 模型； 修复开源库； 为成熟的生产库做贡献； 超强学习能力，实时补足知识和能力短板。Devin 完整技术报告中显示，在 SWE-bench 基准测试中，无需人类辅助，Devin 可解决 13. 86% 的问题
——这个数据看起来不高，但其实已经超过了此前所有 AI 大模型的成绩。
目前数一数二的 GPT-4，在同个测试中的成绩只有 1.74%，且必须配备一个人类，提示它要处理哪些文件。
当时的 Devin 团队一副没在怕的样子。
虽然没开放公测，但陆陆续续给出了一些内测名额。
在互联网上搜索一番，发现上手体验过的人给的买家秀反馈是这样的：
热衷 AI 的沃顿商学院教授 Ethan Molick 试过后，认为其新颖的实时交互方式是最值得关注的。
他要求 Devin 开发一个解释“创业公司融资中的股权稀释”的网站，随后透露，AI 还无法在没有任何帮助的情况下，自主且无差错地完成这项工作。。
但也有人直接表示，体验过后确实是有被震撼到。
巧的是，截图中的这个首批内测体验者 Bubna 哥，是 AI 基础设施创业公司 Modal Labs 的 CTO。
后来他和 Devin 还联手搞了个新闻。Devin 用自家老板的账号，潜入 Modal Labs 的工作群，和 Bubna 哥一番交流过后，根据回复调整了代码方案，解决了一个技术问题。
△图中的发言人背后其实是 Devin
当然，除了看上去
哄哄的技术，Devin 还镀了一层光环，那就是背后公司 Cognition，虽然是个小初创，但在招人信息中明晃晃写着：
我们团队手里握着 10 块 IOI 金牌呢～
技术演示和团队背景都吸睛 Max，直接给 Devin 的传播力度添砖加瓦。
也正是因为对 Devin 的关注，代码生成领域在过去一段时间里进展是突飞猛进。
暂时无法在飞书文档外展示此内容
比如，GitHub 三万 Star 项目 MetaGPT 就上新了“开源版 Devin”，名为数据解释器（Data Interpreter）：
阿里 Qwen 成员 Binyan Hui 等人开启了 OpenDevin 项目，一个月过去已经在 GitHub 揽星 21.5k；
普林斯顿那边动作更快，用 GPT-4 打造了开源 SWE-agent，开箱即用，可修复 GitHub 存储库中真实 bug。
在 25% 的 SWE-bench 测试集上，它实现了与 Devin 演示视频中相似的准确度—— 解决了 12.29% 的问题。
还有各个大厂也开始入驻自己的 AI 程序员……
One More Thing
结果现在发生这件事儿，怎么说呢……
往好了想，真是救大命了，所有的程序员们都要松口气了，还好还好，AI 暂时还无法端到端端走我的饭碗。
往坏了想，真是要了命了，这么一个备受关注的明星项目居然是个只能活在视频里的 demo。
难道世界真的是个巨大的草台班子？？？
参考链接：
[1]https://twitter.com/oran_ge/status/1778968102610546762?s=46&t=S65Q3TssMnzcxLETGqaDFQ
[2]https://twitter.com/0interestrates/status/1779268441226256500
