前 Snap AI 首席推出霍格斯菲尔德,挑战 OpenAI 的 Sora 视频生成器
几个月前,OpenAI用一种生成式人工智能模型Sora征服了科技界,它可以将场景描述转化为原创视频,无需摄像机或摄制组。但是到目前为止,Sora一直保密严密,该公司似乎将其定位于像好莱坞导演这样资金充裕的创意人士,而不是业余爱好者或小型营销商。
亚历克斯·马申拉保夫,Snap的前生成AI负责人,意识到了一个机会。因此,他推出了Higgsfield AI,这是一个由人工智能驱动的视频创作和编辑平台,旨在为更加定制化、个性化的应用提供服务。
使用自定义文本到视频模型技术,Higgsfield的第一个应用程序Diffuse可以从头开始生成视频,也可以拍摄自拍照并生成以该人物为主角的视频剪辑。
Mashrabov在接受TechCrunch采访时表示:“我们的目标受众群体是各类创作者,从普通用户想和朋友一起创作有趣内容的,到社交内容创作者想尝试新的内容形式的,再到社交媒体营销人员想让他们的品牌脱颖而出的。”
马什拉波夫通过他之前的初创公司AI工厂来到Snap,Snap在2020年以1.66亿美元收购了该公司。在Snap工作期间,马什拉波夫帮助开发了包括Cameos在内的Snapchat的AR效果和滤镜产品,还开发了备受争议的MyAI聊天机器人。
Higgsfield是Mashrabov几个月前与人工智能研究员Yerzat Dulat合作推出的,专门研究生成视频。它提供了精心策划的预生成视频片段,一个上传参考媒体(例如图片和视频)的工具,以及一个提示编辑器,让用户描述他们想要描绘的角色、动作和场景。使用Diffuse,用户可以直接将自己插入到由人工智能生成的场景中,或让他们的数字化形象模仿其他视频中捕捉到的动作,例如舞蹈动作。
玛什拉博夫表示:“我们的模型支持高度逼真的动作和表情。我们正在为消费者开创‘世界模型’,这将使我们能够构建具有极高控制水平的一流视频生成和编辑。”
Higgsfield并不是唯一一家与OpenAI竞争的生成视频初创公司。Runway是最早出现的之一,其工具不断改进。此外,还有Haiper,得到了两位DeepMind前员工的支持,以及超过1300万美元的风险资金。
马什拉博夫认为,Diffuse将凭借其以移动为先、以社交为前的营销策略脱颖而出。
马什拉博夫表示:“我们优先考虑iOS和Android应用程序,而不是桌面工作流程,使创作者能够随时随地创建引人入胜的社交媒体内容。事实上,通过依托移动端,我们能够从一开始就优先考虑易用性和消费者友好的功能。”
希格斯场也在紧俏工作。Mashrabov表示,支撑该平台的生成模型是由一个16人团队在不到九个月内开发出来的,并在一组32个GPU上进行训练。目前已有工作的情况看,32个GPU听起来可能很多,但考虑到OpenAI使用了数以万计的GPU,实际上并不多。目前,希格斯场只筹集了800万美元的资金,其中大部分来自最近Menlo Ventures领投的种子轮融资。
为了在竞争对手之前保持一步领先,Higgsfield计划将种子资金用于建立一个改进的视频编辑器,让用户可以修改视频中的角色和物体,并用于训练更强大的视频生成模型,特别是针对社交媒体使用情况。实际上,Mashrabov认为社交媒体和社交媒体营销是Higgsfield的主要盈利领域。
尽管Diffuse目前是免费使用的,Mashrabov设想未来营销人员可能会为高级功能、大规模或大型广告活动支付一定费用或订阅费用。
“我们相信希格斯场为社交媒体营销人员开启了一个令人难以置信的真实感和内容生产应用案例水平,”他说。“我们经常听到首席营销官和创意总监表示,他们需要优化内容生产预算并缩短时间表,同时仍要提供有影响力的内容。因此,我们相信视频生成式AI解决方案将是帮助他们实现这一目标的核心解决方案。”
当然,希格斯场也不能免除面临生成式人工智能初创企业所遇到的更广泛挑战。
众所周知,像Diffuse这样的生成式人工智能模型“反刍”训练数据。为什么会成为问题呢?如果这些模型在没有获得许可或许可协议的情况下被训练,那么使用这些模型的用户可能会无意中生成侵犯版权的作品,从而导致他们面临诉讼。
Mashrabov不会透露Higgsfield训练数据的来源(除了说它来自“多个公开可用的”地方),也不会透露Higgsfield是否会保留用户数据用于训练未来的模型,这可能会让一些商业客户感到不舒服。他指出Diffuse用户可以通过应用程序随时请求删除他们的数据。
数字“克隆”平台如Higgsfield也很容易被滥用,就像最近几个月社交媒体上深度伪造视频的蔓延一样展示了。
在同样的情况下,希格斯场可能会让侵犯创作者内容变得更容易。例如,只需要上传某人编舞的视频,就可以生成一个自己表演同样编舞的视频。
我问马什拉博夫有关Higgsfield可能采取哪些保障或保护措施来防止滥用,虽然他没有具体说明,但他声称该平台采用自动和手动审核相结合的方式。
Mashrabov补充道:“我们决定逐步推出该产品,并首先在特定市场进行测试,以便监控潜在的滥用情况,并在必要时改进产品。”
我们只能等待看看实际效果如何。