Runway VS Pika，AI视频的未来

AI视频的未来：Runway VS Pika

在软件领域，云计算的兴起导致基于许可证的、本地托管的桌面产品被抛弃，基于浏览器的、实时协作的应用程序的兴起。技术的进步还使得将AI模型整合到软件中成为可能，通过允许计算模型在基于云的硬件上运行，使得应用程序不再受最终用户设备质量的影响。

同时，视频仍然是最受欢迎的内容媒体之一，TikTok、Instagram、Snapchat 和 YouTube 等视频应用程序跻身 2023 年全球下载次数Top 15 的应用程序之列。2023 年，全球音频和视频编辑软件市场规模为 40 亿美元，预计在接下来的十年中将翻一番。

这些趋势的交叉点是基于网络的、特定垂直领域的协作软件产品，例如 Runway和Pika。

Runway是一个基于Web的编辑器，允许实时协作，并提供了通过其研究部门Runway Research开发的日益增长的一套人工智能工具。它通过将以前繁琐和高技能的工作流程转变为几次点击来降低了专业视频编辑的门槛Runway旨在扩大视频制作的可访问性，以前这些工作通常外包给昂贵而缓慢的第三方机构。

而Pika是天才少女创立的AI视频生成和剪辑与一体的软件，直接与Runway竞争，在成立6个月就获得硅谷半壁投资人5000W美元投资，近日引发国内媒体疯狂报道。

1990年出生的Cristóbal Valenzuela Barrera，在智利排名第一的私立学府阿道夫伊瓦涅斯大学（AIU）获得了经济学和工商管理学士学位，并于2012年获得了设计艺术硕士学位。毕业后，他选择留校担任教职。从2016年开始，深度学习的进展给Cristóbal Valenzuela带来了巨大的震撼。于是他辞去工作，前往纽约大学深造，成为了Tisch艺术学院ITP（Interactive Telecommunications Program）项目的研究生，开始寻找制作艺术、生成内容和讲述故事的新方法。

而Runway则是Cristóbal Valenzuela的论文项目。在项目开发过程中，他遇到了来自智利的同胞Alejandro Matamala（1986），后者拥有过两次创业经历。Alejandro随后加入了项目，成为联合创始人。在毕业后，纽约大学为他们提供了一个研究实习的机会，在那里他们遇到了经验丰富的智利开发者Anastasis Germanidis（1991），并成功说服他加入Runway担任首席技术官（CTO）。

2018年 Runway 作为模型目录推出，使其他人能够针对各种用例部署和运行机器学习模型。它用可视化界面抽象了推理和训练过程。随着模型目录和用户群的不断增长，团队开始看到视频编辑中出现的使用模式。视频编辑和电影制作人找到 Runway ，是因为他们看到了利用模型来帮助他们自动化工作流程的潜力。随着 Runway 开始利用其模型目录中的知识围绕视频编辑进行更深入的构建，团队意识到他们正在削减制作视频的时间和成本，并可以大幅降低视频编辑的门槛。于是决定致力于构建视频编辑器产品。

如今，Runway 是一款成熟的视频编辑器，可在浏览器中实现实时协作，并拥有越来越多的人工智能驱动的视频编辑和创建功能。它被数十万用户使用，从业余爱好者到专业编辑。

Pika Labs 的团队相当精简，目前仅有 4 位全职成员，但兼具学术和创意两个领域顶尖人才：两位创始人郭文景（Demi Guo） 和孟晨琳（Chenlin Meng ） 是斯坦福博士，2022年冬天她们在假期想利用 AI 来制作一部电影，当时 Runway 正在举办首届 AI 电影节，Guo 投入了大量时间使用 Runway 和 Adobe Photoshop 等工具，不过她们最后没有获奖，尝试过各种 AI 产品后发现整个过程还是挺麻烦，于是在今年 4 月份从斯坦福博士辍学创立了 Pika，希望可以让视频创作更简单。

Pika 的团队成员基本上都有着中国学霸的色彩，Demi Guo 在美国出生，从小接触编程，国内在杭二读完高中，提前拿到哈佛的录取，在获得了哈佛大学数学学士学位和计算机科学硕士学位后，2021年到斯坦福大学攻读计算机博士，进行图形学和 NLP 交叉领域的研究，预计2026年毕业，师从Ron Fedkiw 和 Chris Manning 教授。前者是得过两次奥斯卡奖，参与过加勒比海盗、星球大战等电影的特效的创意大师， 后者是 Stanford 人工智能实验室的主任。Demi Guo拿过国际信息学奥林匹克竞赛银牌、美国计算机奥林匹克竞赛第一名并且入选国际数学奥林匹克代表队。在 Quora、Google Brain、微软、腾讯和字节等公司做过 AI 方面的实习。她也是投资圈的“老人”，2016年就开始接触风险投资，在国内投资机构转了个遍，包括红杉中国，创新工厂、北极光等机构都呆过，同时自己还在中美之间做天使投资。据报道，郭文景的母亲是MIT毕业的高材生，对于父亲，是浙江首家在国内主板上市的软件公司信雅达董事长郭华强。

Chenlin Meng 也是从国内高中直接去美国读本科，和 Demi Guo 认识多年。她获得斯坦福大学数学学士学位，本科阶段就发表了五篇关于生成式人工智能的论文，读计算机科学博士学位期间三年内写了 30 多篇论文。与人合作的一些论文成为 OpenAI 的 DALLE-2、Google 的Imagen，以及 Stability AI 的 Stable Diffusion 模型中内容生成的关键方法。

后来加入的第三位联合创始人兼创始工程师 Karli Chen 是Demi Guo在杭二的高中同学，在卡内基梅隆大学完成了机器学习和计算机视觉的硕士学位。在本科阶段，他曾在商汤担任机器学习工程师；而高中时，他曾进入中国信息学奥林匹克（IOI）代表队前 12 名决赛选手和中国物理奥林匹克（IPhO）代表队前 50 名决赛选手之一。

第四位创始人是Matan Cohen-Grumi， 以色列背景，在创意领域拥有丰富经验。

Source: Runway

Runway 的主要产品允许用户在单个时间线上编辑多轨视频和音频。该编辑器具有效果过渡、修剪、剪切、音频电平调整和标题创建等标准编辑工具。便利的布局使编辑人员能够轻松上手。

该编辑器基于浏览器，可通过 Chromium 浏览器访问。每个项目都可以与协作者共享，并且可以同时实时进行编辑，类似于 GSuite、Canva 或 Figma 中的工作流程。免费套餐的已完成项目的输出分辨率限制为 720p，付费套餐的输出分辨率可达到 4k。

Source: Runway

Runway 还提供了一套称为 AI Magic Tools 的 AI 功能。截至 2023 年 2 月，它提供 31 种工具，包括基于文本的图像生成、颜色分级、音频清理、对象删除、图像转视频和绿屏。该公司提供的三种工具是修复、绿屏和运动跟踪。

修复：编辑工具，允许用户通过在静止帧中识别对象并让人工智能确保它在整个场景中遵循蒙版（遮罩）来从视频中删除对象。

Source: Runway

绿屏：允许用户从视频中删除背景的工具。这样，只需在主题周围单击几下即可遮盖任何镜头，从而允许剪辑师更换背景，无论镜头是如何拍摄的。它可以与图像生成技术相结合，从文本描述生成新的背景。

Source: Runway

运动跟踪：允许视频编辑器单击即可跟踪任何对象的运动的工具。运动跟踪允许用户选择场景中的移动对象或人员，并固定无缝跟踪其轨迹的徽标、图形或文本。

Source: Runway

Runway Research 与主要大学合作发表人工智能论文，然后将其纳入其产品中。它发表了有关对象运动跟踪、声音到视频匹配以及最著名的文本到图像生成的论文。它的潜在扩散模型（称为Stable Diffusion）是通过与慕尼黑大学和 Stability AI 合作实现。 Runway 开源了 Stable Diffusion，首席执行官 Cristóbal Valenzuela 在 SD 1.5 发布时强调了 Runway 的“使命是让任何人创造不可能”。截至 2023 年 2 月，Stable Diffusion 在 GitHub 上已被加注超过 4 万次，在 Hugging Face 上获得了超过 5,000 次点赞。

起初，Pika 只专注于生成动画视频。几个月后，公司投资人建议他们增加一个将文本嵌入视频的功能。他们当天就完成此项功能，在当天凌晨 3 点告知投资人这个功能已经开发完成。这种「极其高效」的工作节奏让公司投资人决定再次加注。

近日Pika 发布了 1.0 版产品，和 Runway 有点类似，它不仅可以通过文本和静态图片直接生成视频，还可以延长现有视频的长度（每次可以添加 4 秒的时长，可以无限制添加下去），或将其转换为不同的风格，比方说将真人风格的视频转换为动漫风格，另外还可以对视频有更多的编辑功能，比方说改变角色的衣服、让某个角色戴上太阳镜或者直接再加一个角色等等。

据Pika创始人介绍，Pika 也不能完全算 Diffusion Model，公司开发了很多新东西，是一种新的模型。

这两家主要目标客户是想要创作和编辑引人入胜的视频内容但没有专业机构或工作室预算的长尾创作者。公司专注于协作编辑和人工智能工具，降低了技术门槛。 Runway 与学校的合作伙伴关系使 Runway 的产品成为下一代编辑视频的常用工具。

对于小型企业和数字创作者来说，视频成为发现和吸引用户的越来越重要的途径，但是有限的预算通常无法支持视频制作公司的费用。新的工具简便易用和速度相应使得人们能够以有限的技能制作专业内容。

对于专业编辑来说，Runway 简化了繁琐的流程，比如动态遮罩。通过与专业编辑的访谈，我们了解到Runway 并不取代他们现有的编辑工具的使用，而是在特定任务中与它们相辅相成，比如物体移除或绿屏。

这两家都位于视频编辑软件市场和视觉特效软件市场的交叉领域，到 2023 年，视频编辑软件市场规模达到 40 亿美元，而视觉特效软件市场规模将接近 100 亿美元。随着上传用户生成内容 (UGC) 到在线平台的创作者数量的增加，Runway的市场也能持续增长。

LinkTree 最近的一项研究表明，全球有 2.07 亿专业创作者将数字内容制作作为主要或次要收入来源。其中超过 45% 的创作者认为自己是全职内容创作者。随着视频消费的增长，对能够更快速地制作视频内容的工具有着强烈的需求。

Avid：

最昂贵且技术要求最高的编辑工具，被认为是专业编辑的黄金标准，特别是对于电影和广播。使用 Avid 是好莱坞的行业标准。据该公司称，2021年该产品的下载量超过300万次。

Adobe：

Adobe 的创意套件，尤其是 Premiere 和 After Effects，与 Runway 的功能直接竞争，Runway的专业用户经常会协同使用。

Apple:

Final Cut Pro 已成为剪辑领域的主要参与者，其市场份额与 Adobe 相当。该产品提供全功能编辑和特效，一次性购买价格为 399 美元。苹果对其免费 iMovie 产品的改进，使其成为爱好者的热门选择。

Runway和Pika 对这些竞品的的优势在于引入浏览器优先的协作编辑（ browser-first, collaborative editing），类似于 Canva 和 Figma。

除此之外，社交媒体创作者还经常使用 Slice 和 CapCut 等移动原生视频编辑器。它们提供的功能比 Runway 少，但可以让更多的人参与协作。 CapCut 是 2022 年最常用的应用程序之一，其中 TikTok 创作者的使用量很大。

Runway 采用免费增值业务模式与付费层级相结合。

Source: Runway

Runway还提供了一个定制的企业级套餐，更适合需要高度安全性和定制化的工作室。这可以更大程度地确保资产不会被他人链接或访问，这是大型工作室对云提供的一个可能会担忧的问题，并且可以实现与现有软件套件的定制集成。对于使用像Autodesk Maya这样具有专用工作流程的工具的工作室来说，集成成为吸引Runway的关键因素。

Pika目前在discord还是免费模式，未来很有可能采用Runway的商业模式。

截至 2022 年 12 月，Runway 的收入约为 100 万美元。公司CEO提到，该产品目前拥有数十万用户，这表明截至 2022 年 3 月，免费使用量很大。

Runway 还与主要客户进行合作，包括著名电视节目《史蒂芬·科尔伯特深夜秀》的剪辑团队，以及获得 2023 年奥斯卡最佳剪辑提名的电影《一切皆有可能》。许多主要品牌也使用 Runway 进行视频制作，包括 CBS、Vox 和 Google。

Source: Runway

pika成立三个月后，Pika 推出了 Discord 服务器，方便用户使用 Pika 生成视频。要在 Discord 上使用 Pika，需要在服务器的聊天框中提供文本或者图像，然后会生成简短的视频，并与服务器上的其他人共享。该社区很快蓬勃发展，成千上万的用户创建了不同风格的剪辑，从皮克斯风格的动画到逼真的视频。Pika 的 Discord 服务器人数已悄然从零增长到超过 16 万。已��约 50 万人尝试了这款软件，并且现在每周都有数百万新视频由此生成。

Runway目前完成5轮，累计筹集2.37亿美元。

2018 年 12 月，Lux Capital 在 领投了 200 万美元种子轮融资，

2020 年 12 月， Amplify Partners 领投了 850 万美元 A 轮融资。

2021 年 12 月，公司从 Coatue 筹集了 3500 万美元的 B 轮融资。

2022 年 12 月，以 5 亿美元的估值筹集了 5000 万美元的 C 轮融资，由 Felicis Ventures 领投，Madrona、Guillermo Rauch（首席执行官）参投。 Vercel 的首席执行官）、Amjad Masad（Replit 首席执行官）、Howie Liu（Airtable 首席执行官）、Soumith Chintala（PyTorch 联合创始人兼负责人）、Lukas Biewald（Weights & Biases 首席执行官）和 Jay Simons（Atlassian 前总裁） ）。

2023年7月，公司从Google、Nvidia、Salesforce和其他投资者那里获得了1.41亿美元的系列C轮融资。

Pika Labs目前已经累计完成 3 轮、共 5500 万美元融资，最新估值为 2.5 亿美元。

截至 2023 年 2 月，Runway 的 AI 产品线已将 AI Magic Tools 的数量增加到 30 多个。该公司已经建立了一种将 AI 研究转化为产品功能的产品文化，并处于有利地位，可以利用 AI 开发进行视频创作和编辑。用户对这些新功能的反应导致该公司的产品公告视频在网上获得了数百万次观看。

这两家公司引发的关注点是视频，但更值得关注其已经开发了更通用的模型。Runway最值得注意的是开源的Stable Diffusion文本到图像模型。虽然Stable Diffusion支持其编辑器中的图像生成功能，但它也成为了最广泛使用的开源模型，驱动着众多排行榜应用程序，并获得了苹果的CoreML发布，使其可以直接在Apple Silicon硬件上运行。

这两家公司对浏览器的专注使其在与苹果和 Adobe 等老牌企业的竞争中占据优势。但在移动性日益增强的原生世界中，同样的赌注可能带来的机会比预期的要小。 CapCut 于 2020 年发布，2022 年全球下载量达到 3.57 亿次，其崛起突显了在移动设备上创建和编辑内容的需求不断增长。随着 TikTok、Reels 和 YouTube Shorts 在创作者中越来越受欢迎，移动优先编辑可能会主导数字内容创作堆栈。

随着人工智能在软件中变得无处不在，AI可能无法给这两家公司提供长期的护城河。 AI Magic Tools 简化了繁琐的工作流程，是其当前客户的主要吸引力，但随着运行模型的成本下降，它可能成为所有编辑器的标准功能。 Apple 在 CoreML 上发布的 Stable Diffusion 凸显了持续硬件进步和模型优化的潜力，使这些模型能够在本地而不是在云端运行，无需太多提升即可融入传统编辑器。本地运营还可以降低边际使用成本，从而提高传统分销商的经济效益。

Pika和Runway 正在为视频编辑市场带来云计算、基于浏览器的软件和生成式人工智能的颠覆。他们的产品使用户能够快速协作地创建和编辑视频内容，降低了以低成本创建高质量创意内容的障碍。它在人工智能方面是全栈的，不仅构建了能够访问其人工智能魔法工具的界面，而且还积极参与开源研究以扩大对人工智能的访问。

随着视频内容的不断发展，TikTok、Instagram Reels 和 YouTube Shorts 凸显了主要平台对短视频的关注，创作者利用专业编辑软件的需求可能会增加，这也是Pika和Runway的未来机会所在。Demi Gu预计明年会出现AI视频领域的ChatGPT时刻，那明年的视频OpenAI又会是谁？