欧盟将扩大对人工智能初创企业的支持,利用其超级计算机进行模型训练
欧洲联盟计划通过让本土的人工智能初创企业获得该联盟超级计算机的处理能力,从而支持他们进行模型训练。该计划于去年9月宣布,上个月正式启动。根据欧盟的最新消息,法国的Mistral AI已经参与了早期的试点阶段。然而,一个早期的发现是,该计划需要专门支持人工智能初创企业的培训,以帮助他们充分利用欧盟的高性能计算能力。
“我们注意到的其中一件事是,我们不仅需要提供访问权,还需要提供设施——尤其是我们在托管中心拥有的技能、知识和经验方面——关于如何不仅促进这种访问,还要开发使用每个超级计算中心和我们自己机器目前可用的最佳架构和计算能力的培训算法,”一位欧盟官员今天在新闻发布会上说道。
他们补充道,计划成立“卓越中心”,以支持对欧盟超级计算机上运行的专用人工智能算法的开发。
在培训模型时,人工智能创业公司更倾向于使用由美国超级规模云服务供应商提供的专用计算硬件,而不是利用超级计算机的处理能力作为培训资源。因此,根据欧盟官员的说法(他们在巴塞罗那超级计算中心主持MareNostrum 5正式揭幕式之前提供了背景资料),人工智能培训计划将配备一个支持封装技术。MareNostrum 5是一台前超级计算机,将于周四在西班牙巴塞罗那超级计算中心正式启用。
“我们正在为中小企业开发设施,以便能够了解如何最好地使用超级计算机,如何访问超级计算机,以及如何并行化他们在人工智能领域的算法,以便能够开发出自己的模型。”一位委员会官员表示:“到2024年,我们预计将会有更多这种方法的应用,比目前我们所拥有的要多得多。”
“人工智能现在被视为联盟的战略重点,”他们补充道。“随着人工智能成为战略重点,在《人工智能法案》的基础上,我们提供创新能力——或者说我们希望为我们的中小企业和初创公司提供一个广阔的创新窗口,使他们能够最好地利用我们正在创建的机器和公共基础设施,以便能够在国际上竞争,开发安全、值得信赖和道德的人工智能算法。”
另一位欧盟官员确认,一家“人工智能支持中心”正在建设中,该中心将为中小企业和初创企业提供“特殊通道”,以便帮助他们充分利用欧盟的超级计算资源。“我们需要认识到,过去十年来,人工智能社区并未使用超级计算机”,他们指出。“尽管他们对GPU并不陌生,但对如何与超级计算机互动却是全新的,因此我们需要帮助他们。”
在许多情况下,人工智能社区通过了解一个盒子中可以放多少个GPU来推进。他们在这方面非常擅长。但在超级计算机上,我们有很多装有GPU的盒子,为了充分发挥超级计算机的潜力,需要一些额外的技能和帮助进行扩展和使用。
在过去的五年多时间里,该集团在超级计算机方面的投资大幅增加,将硬件发展成为分布在该地区的八台机器集群。该集团还计划通过千兆网络进行互联,创建一个联邦超级计算资源,并放在云端,以便用户在整个欧洲都能够使用。
欧盟的首批超级计算机预计将在接下来的几年问世,其中一台将位于德国(可能是明年),另一台将于2025年在法国投入使用。委员会还计划在量子计算领域进行投资,计划获取一批与超级计算机共同定位的量子模拟器,以提供一种混合资源,将两种类型的硬件相结合,使量子计算机能够作为经典超级计算机的“加速器”,委员会如此说道。
正在使用欧盟高性能计算硬件开发的应用程序包括一个名为“目的地地球”的项目,用于模拟地球生态系统,更好地建模气候变化和天气系统,并且另一个项目旨在设计人体的数字化复制品-希望通过支持药物开发甚至实现个性化医学来进一步推动医学科学的发展。在欧盟主席宣布AI模型训练计算资源访问计划之后,使用其超级计算资源来启动AI初创企业已成为最近的战略重点。
上个月,该集团还宣布了一项被称为“大规模人工智能大挑战”的竞赛:这是一个专为拥有大规模人工智能模型经验的欧洲人工智能初创公司设计的竞赛,旨在选择最多四个有潜力的国内初创企业,为他们提供总计400万小时的超级计算机资源,以支持基础模型的开发。该竞赛设立了100万欧元的奖金,将分发给获胜者,预计他们会以开放源代码许可证的方式发布开发出的模型,供非商业用途使用,或通过发布研究成果来传播。
欧盟已经有一个计划,为行业用户提供超级计算资源的核心时间段,通过项目申请的方式进行访问。但该集团正加大对商业人工智能的关注,并专门提供计划和资源,希望将其不断增长的超级计算网络转变为推动“欧洲制造”的通用人工智能的战略能源。因此,法国的Mistral公司成为了欧盟委员会超级计算机访问计划的早期受益者,并非偶然。Mistral是一家人工智能初创公司,旨在与像OpenAI这样的美国基础模型巨头竞争,并声称提供“开放资产”(即使不完全开源)。尽管这家科技公司刚刚从美国投资者如Andreessen Horowitz、General Catalyst和Salesforce等公司获得了3.85亿欧元的A轮融资,竟然排在欧盟免费计算机计划的前列,可能会引起一些疑问。但这是对“大规模人工智能”制定的高层战略赌注的又一个迹象。
欧盟的“AI超级计算”计划目前还处于初期阶段,尚不清楚通过专用访问是否已经取得了许多模型训练的优势。
在被询问时,Mistral的联合创始人兼首席执行官Arthur Mensch告诉我们:“在我们的集群系统升级期间,我们利用了位于意大利博洛尼亚的欧盟最新一代超级计算机之一——Leonardo,运行了几个小型实验。这是一次很好的合作,我们提供了很多反馈,并获得了一些有趣的结果。但我们所有的模型都是在我们自己的集群上进行训练的。”
显然,然而,委员会的希望是通过将支持投入到人工智能初创企业中,借助其对高性能计算的投资,以及构建超级计算机硬件,该硬件将越来越多地考虑到人工智能模型训练的需求,从而为本土人工智能生态系统带来竞争优势。这个生态系统相对于与超大规模计算机临近的美国人工智能巨头而言,起步较慢。
“鉴于我们在训练这些基础模型方面缺乏美国人所拥有的大型超大规模计算平台,我们使用超级计算机进行训练,并将开发一代新的超级计算机,这些计算机将越来越符合人工智能要求,” 一位委员会官员指出。“不仅仅是现有的超级计算机,从2024年开始,我们的目标是朝这个方向发展,让更多的中小型企业利用超级计算机开发这些基础模型。”
游戏计划将包括获取“更多专用的人工智能超级计算机,更多地基于加速器而不是标准CPU”,他们补充说。最新的机器——驻巴塞罗那的MareNostrum 5——已经被设计用于人工智能开发者使用,根据委员会的说法。
目前还不清楚欧盟的人工智能支持战略与某些成员国培育国家级人工智能冠军的雄心是否相契合,这在最近关于制定该联盟人工智能规则的紧张谈判中被广泛提及,其中法国主导推动为基础模型设立法规例外条款,并引起中小企业的批评。然而,Mistral早期参与欧盟超级计算机访问计划可能表明思路上的一致。
这份报告已与Mistral的评论进行了更新。