清华明星团队打造的“中国版Sora”又拿钱了

投中网 | 张雪 · 2024-07-05 17:45

除了“大模型五虎”外,目前国内多模态大模型中估值最高的初创公司之一。

近日,OpenAI的一纸“断供”通知在国内再次掀起波澜。

这则通知显示,自7月9日起阻止来自非支持国家和地区的API流量。目前,OpenAI的API向161个国家和地区开放,由于中国未在其中,这意味着OpenAI将终止对中国提供API服务。

为了在这次“断供”中率先抢占到市场份额,国内大模型厂商纷纷推出相关“搬家”活动,一时间喧嚣四起。

无疑,OpenAI的这个动作再次证明了国产人工智能的重要性。正是如此,当天二级市场上相关概念股迅速拉升,甚至多支出现了涨停。

与此同时,哈勃入股AI公司生数科技的消息开始浮出水面,在这种关键时间点,生数科技再次成为了业内关注的焦点。

不止中国版Sora

这并不是生数科技第一次出圈。

今年4月,生数科技联合清华大学发布了中国首个长时长、高一致性、高动态性视频大模型—Vidu,性能全面对标Sora,当时就在国内外引起了一阵轰动。

据悉,Vidu支持一键生成长达16秒、分辨率高达1080P的高清视频内容,它不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生成、时空一致性高等特点。

Vidu发布后,生数科技对外表示,Vidu的视频时长会继续突破,面向未来,Vidu灵活的模型架构也将能够兼容更广泛的多模态能力。同时,对于被称为“中国版Sora”,生数科技并不算满意,因为他们的野心远比这更大。

而这种底气则来自生数科技是全球首个提出Diffusion Transformer融合架构U-ViT,在这一架构下,生数科技完成了大模型在图像、3D、视频等多模态生成任务下的性能边界的探索。

如果说这样并能让人直观感受到生数科技的技术优势,那么其实Sora背后采用的融合架构Diffusion Transformer即DiT,与生数科技的路线几乎相同。

一个插曲是,生数科技是在2002年9月就提出了该融合架构,比DiT早两个多月,由于发布时间更早,当年计算机视觉顶会CVPR 2023只收录了U-ViT论文,并以“缺乏创新”为由拒绝了由伯克利团队发表的DiT论文。似乎在理论方面,生数科技在视频大模型上的布局是完全早于OpenAI的。

只不过,提出U-ViT架构的生数科技并没有第一时间把资源都放在视频上,而是先放在了图像和3D上。

这是因为生数科技认为,真正的智能一定是通用多模态的,以人为例,声音、视觉、动作这些多模态信息同时输入和输出,人类才能够将一个事物或者概念认识和表达得足够准确。

2023年,生数科技表示,图像生成效果已经超过了Stable Diffusion最新版基础模型,并声称在年内赶超Midjourney。3D内容生成方面,也实现了文生3D和图生3D的能力。

此外,在今年,生数科技才开始在视频上的集中发力,一方面基于上述两个产品的成熟,其次也是有Sora的催化。回看生数科技在视频上的频频动作,1月份,正式上线4秒短视频生成,2月份Sora发布之后,生数科技一个月后完成了8秒的视频生成,4月份视频长度再次翻倍来到16秒。

在具体打法上,生数科技目前采取模型层和应用层两条路走路的模式。一方面,构建覆盖文本、图像、视频、3D 模型等多模态能力的底层通用大模型,面向B端提供模型服务能力;另一方面,面向图像生成、视频生成等场景打造垂类应用,按照订阅等形式收费,应用方向主要是游戏制作、影视后期等内容创作场景。

围绕这种模式,生数科技发布了自主研发的多模态通用大模型UniDiffuser,同时推出了两款应用产品视觉创意设计平台 PixWeaver 和3D 资产创建工具 VoxCraft,以及视频大模型Vidu。

又一支清华创业团队

为何生数科技能在如此短时间内,实现多模态领域的布局?这还得从其创始团队说起。

成立于2023年3月的生数科技,由人工智能方案提供商瑞莱智慧RealAI、蚂蚁集团和BV百度风投共同孵化。

生数科技核心研究团队主要来自清华大学人工智能研究院,其首席科学家朱军,现任清华大学计算机系教授,同时也是清华人工智能研究院副院长、清华智能技术与系统国家重点实验室主任、智源首席科学家。

生数科技CEO唐家渝,曾任腾讯优图实验室高级产品经理和瑞莱智慧RealAI副总裁,先后负责瑞莱智慧产品团队、AI安全产研团队及业务。CTO鲍凡则是清华大学计算机系的博士生,并作为朱军教授课题组的成员,共同推进研发工作。

此外,生数科技对多模态生成式模型的探索,最早可以追溯到2013年。彼时,早期成员在清华实验室,开始了生成式模型理论基础、高效学习和推理算法,以及音乐生成、人脸合成等多方面的研究工作。

生数科技目前已于ICML、NeurIPS、ICLR等人工智能顶会发表相关论文近30篇,其中提出的免训练推理算法Analytic-DPM、DPM-Solver等突破性成果,获得ICLR杰出论文奖,并被OpenAI、苹果、Stability.ai等国外前沿机构采用,应用于DALL·E 2、Stable Diffusion等明星项目中。

值得一提的是,这并非清华人工智能研究院首次孵化AI项目,上文提到的瑞莱智慧RealAI,也是由清华大学人工智能研究院创立,该公司由毕业于清华大学的田天博士担任公司CEO,清华大学AI研究院首任院长张钹与朱军共同担任公司首席科学家。

多家明星机构入股

清华明星创业团队,正确的技术路线选择以及快速的产品能力,让生数科技自成立起就备受资本关注。

2023年6月,生数科技宣布完成了近亿元的天使轮融资。此轮融资由蚂蚁集团领投,BV百度风投、卓源资本跟投,投后估值达1亿美金。

生数科技的天使轮资方均是瑞莱智慧RealAI的老股东,对此,唐家渝此前在接受媒体采访时透露,生数科技是在2023年2月开启的天使轮融资,基本没有到市场上融资,当时瑞莱智慧RealAI多家老股东就表示了足够的兴趣,所以整轮融资很快就敲定了。

不久后,生数科技又完成了由锦秋基金独家投资数千万元的天使+轮融资。

时间来到2024年,生数科技又完成了两轮高节奏融资:

3月,生数科技完成了新一轮数亿元融资,由启明创投领投,达泰资本、鸿福厚德、智谱AI以及老股东BV百度风投和卓源亚洲继续跟投。

6月,生数科技完成了数亿元Pre-A轮融资,由北京市人工智能产业投资基金、百度联合领投,中关村科学城公司等跟投,启明创投、卓源亚洲等老股东继续支持。

经过四轮融资,生数科技累计获得了数亿元人民币的投资,这使得它成为除了“大模型五虎”外,目前国内多模态大模型中估值最高的初创公司之一。

可以看到,在生数科技的四次融资中,百度、卓源资本、启明创投参与了多轮,除了老股东,这些资方中还有北京人工智能产投基金这样的国家队,以及智谱AI这样的创业企业。另外,生数科技成也是蚂蚁集团投资的首个AIGC项目。

据悉,上文提到的哈勃入股生数科技也并非是新开的一轮,其也是生数科技Pre-A轮融资的资方,只不过在近期才完成了工商变更。

在大模型公司激战的当下,算力能力成为了关键赛点,不过生数科技暂时没有算力忧虑,此前其曾表示,未来算力问题不会持续太久,产品构成也决定了生数科技并不需要像语言模型,使用上千甚至上万张卡,另外股东也给了相当的算力和资源支持。当然,我认为除了财务和技术外,有了百度、哈勃、启明、蚂蚁等资方的加持,让生数科技一直保持在台前,这在当下的大模型浪潮中,可能是最重要的。

最新直播

热门活动

亚洲化妆品创新峰会暨国货百年化妆品陈列展

  • 上海书航文化发展有限公司
  • 上海
  • 2024-07-18

2019香港金融科技周

  • 香港投资推广署
  • 香港
  • 2024-07-18