作者丨临风
编辑丨海腰
题图丨 Midjourney
去年,和英伟达合作的 Masterpiece Studio 被推荐为最好的 3D 建模生成式 AI 之一,也是人工智能文本到 3D 生成器,可创建实时可用的 3D 头像、角色和道具。
Kaedim 也是英伟达人工智能初创计划启动的一个项目,位于伦敦,它是一家 AI 2D 转 3D 模型公司,提供简单的图生 3D 资产创建服务,用户上传1-6 张图便能生成 3D 模型。据官网,平台已生成资产 51098 个,最近他们推出 3D 资产交易平台 Marketplace,提供 10000 种易编辑、无损的 3D 资产给消费者选择。其主要服务行业为游戏娱乐,另有电商、建筑设计、动画影视等合作伙伴。
图源:Kaedim 官网
Konstantina Psoma 在 2020 年创立 Kaedim,起初是因为她在课程作业的 3D 动画制作艰难,后在英国布里斯托大学读研时全心投入 2D 转 3D 的 ML 算法研究,并在校园企业竞赛中创立该公司。
3 月 11 日,Kaedim 筹集到A轮 1500 万美元,领投方为 A16z Games,Scott Gelb(Riot Games 前总裁)、Nate Mitchell(Oculus 联合创始人)、Eden Chen(Pragma 首席执行官)、Siqi Chen(财务分析软件 Runway 首席执行官)等参投。
据报道,Kaedim 已有 250 个大型客户,用户基数每月增长 2 万,实现 7 位数年收入。它的C端用户包括 3D 建模爱好者、室内设计师、产品设计师、动画师。
一、2D 转 3D,做到 7 位数年收入
AI 生成 3D 并不简单,受限于训练数据的获得和开发的难度,尽管有公司做这项业务,但大多成本高昂,需要思考好商业化路径。
今年 1 月,A16z 领投的另一家生成 3D 资产的公司 Lumalabs 生成高质量资产,成品模型放在现实世界中可以“以假乱真”,被称为 3D 领域的 Midjourney。1 月,Luma AI 发布了 Genie 1.0,一句文字提示,10 秒生成 4 个高保真 3D 模型,尽管效果五花八门,但贴图、材质让模型十分逼真。
视频源:Luma 官网展示作品,Created by @Jhues
Luma 的融资主要用于研发和创新。有分析指出,其面向C端,但没有清晰的商业模式,未来极大可能在游戏、影视、电商等场景商业化。
Meshy AI 也是备受推荐的 3D 资产平台,与 Kaedim 一样可以实现文、图生 3D,速度快,质量还在继续提升。在专访中,Meshy CEO、“天选程序员”胡渊鸣提到,游戏搭建起了他创业 3D 生成 AI 的桥梁,3D AIGC 是一个激动人心的创业方向,虽然有很多不确定性,但是值得和市场一起探索。目前该公司是否盈利尚未可知。
图源:Meshy AI 官网
Kaedim 的愿景则是加速从数字 2D 世界到数字 3D 世界的转变。Konstantina Psoma 表示:“在过去 5 年中,我们已经看到了 3D 技术在电商、游戏、3D 打印、AR/VR 等市场上的巨大增长,我们在赋予下一阶段 3D 内容创作以力量,就像 DALL-E 对 2D 图像的帮助。”
他们已产生收入。据 Finsmes 资讯,Kaedim 的年收入已超过 7 位数,拥有超过 250 家大型客户,每月新增 2 万名创作者。这其中包含电子游戏、商务、建筑、产品设计和动画等行业的爱好者和开发团队及财富 100 强公司。
技术上,Kaedim 运用 GAN(生成对抗网络)和迁移学习等知识,借助 PyTorch、Tensorflow 等技术打造 AI 产品,使其能生成和风格化 3D 资产。“人类在日常生活中看过很多汽车,人们的视觉是 3D 的,当我们看到未发布的新车图片时,就会联想现实中的它。同样的道理,我们教算法从 2D 图像中识别 3D 数据。”
Kaedim 称,他们帮创作者构建了一个完整的工具套件,旨在增强艺术家的创作,而不是取代创作本身。他们采用将工具与工作流(如 Unreal 和 Blender)程集成的方案,一组智能附加组件用于 3D 建模管道,如自动 UV 展开,一组使用 Kaedim 的机器学习模型定制 3D 资产生成的托管服务。
再加上 Kaedim 图生成 3D 资产的过程较为简单,容易上手,没有繁杂的参数调整。
Kaedim 界面
在输入菜单中,有图(image)、文(text)生成 3D 模型两个选项,据演示视频,用户在编辑页面中可以上传目标生成角色1-6 张图像,选择“标准”、“高质”、“极致”三个选项,对应1、2、4 积分花销,做好命名和高度设置后点击生成,即可排队进入处理环节。
图源:Kaedim 编辑器实例模型
图源:Kaedim Discord 社区用户 DV 的模型作品
此外,用户可以用提示词生成 2D 图像,在得到满意的示意图后,按照之前图生 3D 的步骤点击生成。
同样,在其内部编辑器中,用户可检查模型骨架、尺寸,也可要求系统针对需求强化模型细节。
接下来,用户可以使用其 UV Unwrapping 创建模型的 UV 贴图。专业人士可以打开模型线框检查拓扑,也能为模型上色。由文转图生成的模型可以在编辑器中添加描述或更改草图要求增加细节。
最后,Kaedim 允许用户以 image、glb、gitf、obj 等模式形式下载。
图源:YouTube,Kaedim 视频演示
横向对比三类图生 3D 模型效果,可见 Kaedim 效果不差。从白模效果来看,Kaedim(图1)的线条效果较明晰,用时未知,可用性较强,支持自定义填色。尽管 Meshy AI(图2)自带贴图,用时 1 分钟,但其免费生成的效果还需加强。此外,Luma 的高质量成品也能作为游戏资产直接使用,使用 Wall-E 提示词生图转 3D 模型后,10 分钟左右可生成一个边角稍有变形的 Wall-E。
图源:图 1 来自 Kaedim 视频演示 Wall-e 模型,图 2 为作者在 Meshy AI 使用图生模型生成,wall-E 原图来自维基百科
来源:Kaedim 视频演示 Wall-e 模型,Meshy AI 积分生成模型,Luma 免费生成模型
近期,Kaedim 推出了一个拥有 1 万种资产的 3D 资产市场 Marketplace,内部 3D 资源素材没有不良拓扑、网格破损的状况,适用于独立游戏开发者。此网站仅订阅用户可进入查看。
图源:Kaedim
二、挂科带来创业灵感
在官网中,Kaedim 的建模主视觉是一组可爱小动物,与他们的创始人 Konstantina Psoma 的气质相似,Konstantina 是一位爱笑、开朗且富有冒险精神的希腊女生。她是一名年轻的Z世代创业者,去年入选福布斯欧洲“30under30”科技精英。
图源:Konstantina Psoma 领英
Konstantina 毕业于雅典国立技术大学和英国布里斯托大学,在 17 岁独自离开雅典去英国读书。做 3D AIGC 源于她在大学时学习 3D 建模和 3D 动画学习的挫败。“这能有多难?”Konstantina 自信地打开 Autodesk Maya(一款 3D 动画软件)后又沮丧地发现,“非常难,软件的学习曲线非常陡峭。”
别的同学选择建模简单的咖啡馆和公寓大楼,Konstantina 选的是城里最大的建筑——细节复杂繁琐的布里斯托尔大教堂。一顿操作猛如虎,费心渲染 3 个月,电脑崩溃好几回,最后成绩不及格。
图源:维基百科,图为 Bristol Cathedral
“Maya 里面成百上千个按钮,我在里面迷路了。我花了一周时间才建一把椅子,”Konstantina 复盘整个过程,发现将大教堂变成 3D 动画的过程非常重复、耗时,“然而一张静帧状态下的 3D 视频游戏画面里,至少有数百个 3D 物体。”
不仅如此,3D 建模设计需掌握大部分软件,创作者有一定美术基础后操作模型、材质、贴图、灯光、渲染才得心应手。为了找到更轻松的建模“魔法”,Konstantina 和专业从业者进行了交谈。她发现,无论是 3D 设计师还是游戏开发者,都透露了一个问题:3D 创作流程对游戏行业来说,是一个巨大的瓶颈。即使采用了先进的游戏引擎,开发者仍需投入大量时间和精力来优化和调整,以确保最终产品质量。
她不敢想象,在大多数人讨论 VR、AR 的 2019 年,游戏内难以计数的 3D 资产仍在靠手工建模。如果连大规模生成 3D 数字内容都无法做到,那如何实现真正的数字 3D 体验?
一个简单的创业想法在她脑中形成,“我们可以帮助游戏开发者、3D 打印厂商、产品设计师加速他们的 3D 资产生产流程。”Konstantina 将读研期间的研究重点放在了 2D 到 3D 的深度学习方向上,她和团队致力于构建机器学习算法,将草图和照片的 2D 输入转换为 3D 模型。其想法也引起了 PlayStation 游戏部门前负责人、她导师 Shawn Layden 的注意并加以指导。
2020 年 2 月,Kaedim 作为英伟达人工智能初创企业孵化计划的一个项目成立。
“初创公司就是一个宏伟的 idea,全世界都以为你疯了,但是你得有自信。”尽管只是一个项目,她们以公司名义与许多游戏工作室交谈,洞察其制作流程,看产品想法是否符合工作室已有作品。Konstantina 通过调查发现,在创建 3D 内容的概念艺术、3D 建模和纹理制作过程中,建模是劳动强度最大的部分,而且游戏制作总成本的 25% 到 60% 都用于 3D 建模。
“那些工作室认为,‘你给我一个现成的 3D 模型,我们才会考虑调整一下使用’,”Konstantina 很快意识到,文生 3D、3D 生 3D 对大部分游戏公司行不通,她选择了 2D 生 3D 的产品思路,用以加速工作室的生产并帮助他们节约成本。
21 岁的 Konstantina 提出的解决方案吸引了 Aardman 公司(制作《小羊肖恩》的动画公司)的合作意向。她们最终在学校的新企业竞赛中获胜,也顺利地获得了第一笔投资,来自英国游戏开发商 Rebellion Games 的联合创始人 Chris Kingsley。
知名游戏团队 Epic Games 在早期阶段助力了 Kaedim 的人工智能技术开发,与此同时,Konstantina 正式筹到了第一笔资金持续创业。2021 年,他们推出了第一版 Kaedim 网络应用程序并开始了销售,和 Quell(YC 21)等 10 家公司做试点计划。
图源:Kaedim
看得出来,Kaedim 在早期吸引的客户都较为成功,但投放产品时一波三折。
Kaedim 开放测试版后,数以千计的新用户加入了他们的 Discord,很快多数用户对其发出质疑声,Kaedim 并非完全 AI 生成,而且 AI 生成的质量低。404 Media 的报道表示 Kaedim 的 3D 转换实际上是由人类设计师从头开始完成的,没有使用任何 AI——他们聘请了“质量控制员”,薪资为每个模型1-4 美元,负面报道接踵而至。
Konstantina 即刻回应,质量控制工作对他们来说至关重要,能为算法创建反馈循环。因为 AI 算法的输出不稳定,需要质量控制员检测以达到标准,才能反馈给用户进一步编辑和添加纹理。她的目的始终是提速 3D 生产流程,“(2022 年)整个过程平均用时 15 分钟,与手工工作相比,速度提升 10-20 倍。”按她计划,随着算法的进步,这个流程要在缩短至 1 分钟内完成。
解决了质疑声音,Kaedim 在 2022 年的 10 月筹集了种子轮,并获得了 Little Buffalo Studios 艺术工作室、3D 打印公司 Nakkara、游戏或影视公司 Netflix、Voodoo、Upland 等的合作机会,并成功在 2024 年获得 A16z 的青睐,筹得最新一轮 1500 万美元。A16z 称其为“3D 世界的下一代合作开发平台。”
在 Konstantina 看来,随着元宇宙和数字空间的概念火热起来,3D 建模的需求只增不减。目前公司员工已从最开始的 2 人增加到 50 人,还在持续增员中。
三、给游戏开发商提速 10 倍
该公司不提供免费试用,涉及上色、修整模型的步骤都要求付费,起步价 300 美元/月。这也是 Kaedim 被大量吐槽的一个点,但这不耽误多数 3D 设计师对其一探究竟。
图源:Kaedim
在其 discord 社区内,“show your model”话题内有大量用户展示模型效果。例如活跃用户 liamine 创了个“高达”系列,他使用 Kaedim2D 渲染生成 3D 建模,在 Blender 3D 完成动画、纹理和渲染,产出了高质量结果。
来源:discord 用户 liamine 话题页分享
再从合作案例来看其具体效果,Kaedim 从设计师或开发人员已知的困境提供解决方案。
“我们为游戏开发商的 3D 资产创建管道提速 10 倍。”Kaedim 团队称。游戏是 Kaedim 生成资产的主要应用行业,他们服务过 AZRA、Myth、Upland、Voodoo(法国知名休闲游戏公司)、Voldex 等。
图源:Kaedim
一是弥补时间、资源和制作难度的差距。3D 工作流程长,建模成本高,资产制作慢是行业共识。据透露,即使是小制作的 3 分钟 3D 动画成本也是数十万元甚至更高。然而受限于规模、项目架构、制作周期等因素,3D 制作的成本无法具体到准确市场价格。
Kaedim 瞅准了这一点,他们会帮动画工作室补齐 3D 资产短板。Myth 是一家伦敦动画工作室,与芬达、Pixelart 等合作过商业动画,主要接单基础图形、插画动画等 2D 动画业务。据介绍,他们的设计人员在 Cinema 4D 创建 3D 动画资产时耗时多,往往需要一天或半天时间,使用 Kaedim 则可以将时间控制在 15-30 分钟,几小时内创建多个网格,“我们每周可以制作一部新的动作测试/小短片。”
来源:Kaedim,Myth 与其合作的短片
二是提供资产创建管道,简化开发流程,创建无缝的桥梁。火爆一时的《赛博朋克 2077》总成本 4.5 亿美元,光是更新和补丁费用都是 4100 万美元。据 GameLook 介绍,在游戏开发领域中,美术部会扮演“吞金兽”的角色,在 3D 开放世界、2D 卡牌游戏中,美术常占据核心开发团队的 70% 以上。游戏领域对 3D 资产要求高,即使是 AIGC 时代来临,批量生成建模粗糙、缺少细节、结构扭曲的资产也无法提升效率。
所以,Kaedim 将 AI 集成至工作流程中提高效率,如其与 Upland 的合作。Upland 是一家区块链虚拟财产交易游戏,已有虚拟资产超 400 万个,加上 Upland 还在培养 UGC 社区,为促进游戏体验,他们对 3D 资产创建的数量和速度上有要求。据介绍,Kaedim 为他们添加了自动纹理、UV 展开和 LoD(细节层次)等功能。
图源:Kaedim,与 Upland 合作的 3D 资产示例
“Kaedim 帮助我们扩大了游戏内 3D 资产的生产规模,同时扩大了 UGC 平台。”据 Upland 案例描述,Kaedim 给其图像到网格技术提供了解决方案,消除了手动灰度模型的步骤。原本需 245 天(非 AI)生产的 70 个模型仅用 70 天完成,利用 AI 驱动 3D 的流程,将 5000 个特色图腾生命形态的生产时间的生产时间缩短 72%。
但在工作原理上,Kaedim 强调公司是将 AI 和人类专业知识相结合,并非全然依靠 AI 生成。原本,在 2022 年 8 月时,Kaedim 的对外宣传都是“几分钟生成定制的 3D 模型”、“自动化 3D 建模”等,如上文所述,在 2023 年 9 月媒体透露 Kaedim 会有人类艺术家进行质量控制后,官网对说法进行了回应和更正。
Konstantina Psoma 在 Medium 发文表示,人工质量控制有助于训练算法:“3D 团队成员对公司来说非常重要,他们与机器学习工程师共同提供技术反馈。”此外,他们与 3D 设计师合作优化可用、可即刻投入的 3D 资产,确保输出的 3D 素材符合行业标准。
在过去的一年里,Kaedim 发布了自动化工具套件,包括自动纹理、自动 UV 和生成 LoD(细节层次)功能,添加了 3D 资源“预修改器”以便客户自定义工作流程。此外,Kaedim 的目标行业不仅是游戏,还可以完成室内设计、电商等公司的资产需求。
“我们的技术发展还有很长的路要走,实现构想的未来 3D 建模工作流程。我们将始终专注于客户,埋头苦干,不断构建。”
尽管 Konstantina 后来知道了 3D 建模确实没有快速秘诀,但她正在塑造这个平台加速建模流程,以便人们想到快速生成 3D 资产时,只需要念一句魔法口诀:Kaedim。