Symbolica希望通过押注符号模型来避免人工智能军备竞赛

今年二月，谷歌DeepMind AI研究实验室的CEO Demis Hassabis警告称，对当前广泛使用的AI算法投入越来越多的计算资源可能导致收益递减。Hassabis指出，要达到AI的“下一个水平”，需要进行基础研究突破，找到可行的替代方案取代当今根深蒂固的方法。

前特斯拉工程师乔治·摩根也同意这一观点。因此，他创办了一家初创企业Symbolica AI，就是为了做这件事。

摩根告诉 TechCrunch:“传统的深度学习和生成式语言模型需要无法想象的规模、时间和能量才能产生有用的结果。”“通过构建新模型，Symbolica可以以更低的数据需求、更短的训练时间、更低的成本，并且具有可验证的正确结构输出来实现更高的准确性。”

摩根从罗彻斯特大学辍学，加入了特斯拉，他参与了开发Autopilot的团队工作，Autopilot是特斯拉的一套先进驾驶辅助功能。

在特斯拉工作时，摩根表示，他意识到当前大部分围绕扩大计算规模的人工智能方法不具备长期可持续性。

“当前的方法只有一个操作调节转盘：增加规模并期望出现新的行为，”摩根说。“然而，扩大规模需要更多的计算、更多的内存、更多的资金来训练和更多的数据。但最终，这并不能显著提高性能。”

摩根不是唯一得出那个结论的人。

今年，台积电两位高管在备忘录中表示，如果人工智能的发展继续以目前的速度进行，未来十年内该行业将需要一颗拥有1万亿个晶体管的芯片，即比如今普通芯片多10倍的晶体管数量。

目前尚不清楚这在技术上是否可行。

另外，由斯坦福大学和独立的AI研究机构Epoch AI共同撰写的一份报告（未发表）发现，过去一年多时间里，培训尖端AI模型的成本显著增加。报告的作者估计，OpenAI和谷歌分别花费大约7800万美元和1.91亿美元，培训GPT-4和Gemini Ultra。

随着成本有望进一步上升 - 请参见OpenAI和微软报告中提及的1000亿美元人工智能数据中心计划 - Morgan开始调查他所称的“结构化”AI模型。这些结构化模型编码了数据的基本结构 - 因此得名 - 而不是像传统模型那样尝试从巨大数据集中近似洞察，使它们能够在使用更少总体计算资源的情况下实现Morgan所描述的更好性能。

他说：“可以在更小的模型中生产定制领域的结构推理能力，将深度数学工具包与深度学习的突破相结合”。

符号人工智能并不是一个新概念。这个概念可以追溯数十年前，根植于人工智能可以基于代表知识的符号和一组规则来构建的理念。

传统象征性人工智能通过定义特定工作的符号操作规则集来解决任务，比如在文字处理软件中编辑文本行。这与神经网络相反，神经网络试图通过统计近似和从例子中学习来解决任务。Symbolica的目标是充分利用这两种方法的优势。

神经网络是强大AI系统的基石，比如OpenAI的DALL-E 3和GPT-4。但是，Morgan声称，规模并非一切；将数学抽象与神经网络结合起来可能更有效地编码世界知识，推理复杂情景，并解释它们得出答案的方式，Morgan主张。

摩根表示：“我们的模型更加可靠、透明和可追溯。结构化推理能力在商业应用上有巨大潜力，特别是用于代码生成，即对大型代码库进行推理并生成有用的代码，现有产品存在不足。”

Symbolica公司的产品由16人团队设计，是一个用于创建符号 AI 模型和为特定任务预先训练的工具包，包括生成代码和证明数学定理。具体的商业模式还在变化之中。但 Symbolica 可能提供咨询服务和支持，帮助希望利用其技术构建定制模型的公司，Morgan 表示。

摩根表示：“公司将与大型企业合作伙伴和客户紧密合作，构建定制的结构化模型，具有极大的推理能力，以满足各个客户的需求。他们还将开发并销售最先进的代码合成模型给大型企业客户。”

今天标志着Symbolica公司从隐身模式中启动，因此该公司还没有客户，至少没有愿意公开谈论的客户。然而，Morgan透露Symbolica在今年早些时候获得了一笔3300万美元的投资，由Khosla Ventures主导。其他投资者包括Abstract Ventures、Buckley Ventures、Day One Ventures和General Catalyst。

事实上，3 300 万美元并不是一个小数字；Symbolica的支持者显然对这家初创公司的科学和路线图有信心。 Khosla Ventures的创始人Vinod Khosla通过电子邮件告诉我，他相信Symbolica正在“解决当今人工智能行业面临的一些最重要的挑战”。

“为了实现大规模商业人工智能采用和符合监管要求，我们需要具有结构化输出的模型，可以在更少资源的情况下实现更高的准确性，”Khosla说。“乔治已经聚集了行业内最优秀的团队来做到这一点。”

但是，有些人并不认为符号人工智能是正确的前进道路。

华盛顿大学法律和数据伦理学专业的博士生Os Keyes指出，符号人工智能模型依赖高度结构化的数据，这使得它们既“极其脆弱”，也依赖于上下文和具体性。换句话说，符号人工智能需要明确定义的知识才能运行，而定义这些知识可能需要非常庞大的劳动力。

凯斯说：“如果能结合深度学习和符号方法的优势，这可能会很有趣。”他指的是DeepMind最近发布的AlphaGeometry，该算法将神经网络与符号人工智能相结合，用来解决具有挑战性的几何问题。“时间会告诉一切。”

他说：“例如，自动化软件开发这样的任务需要具有形式推理能力和更低运营成本的模型，以解析大型代码数据库并生成和迭代有用的代码。公众对AI模型的看法仍然很大程度上认为‘规模就是一切所需’。在这个领域取得进展绝对需要思考象征性——需要具有形式推理能力的结构化和可解释的输出来满足需求。”

像DeepMind这样的大型人工智能实验室很可能会建立自己的符号人工智能模型或混合模型，而不必考虑Symbolica的差异化点。Symbolica正在进入一个竞争激烈、资金充裕的人工智能领域。但是，Morgan依然预计Symbolica将出现增长，预计总部位于旧金山的Symbolica公司员工将在2025年翻一番。