双子实验室通过让人工智能接管你的鼠标光标，自动化重复任务
认识一下Twin Labs，一家总部位于巴黎的初创公司，他们致力于开发一个用于重复性任务的自动化产品。例如，帮助你将新员工引入你所有的内部服务，当库存告急时重新订购物品，从多个SaaS产品下载财务报告，与潜在客户进行联系等等。
“Twin的起点是一个科幻的想法。我们看到了LLM（基础模型）技术能力的发展。我们问自己的问题是，通过训练一个AI代理来模仿我们执行任务的方式，我们是否能够复制自己，” Twin Labs的联合创始人兼首席执行官Hugo Mercier告诉我。
在Twin Labs的案例中，最有趣的不是他们在做什么——改进内部流程——而是他们是如何做到的。该公司依靠具有视觉能力的多模型，如GPT-4 with Vision (GPT-4V)，来模拟人类通常所做的事情。
在尝试开发传统的低级线性模型（LLMs）之前，Twin Labs首先试图通过多模态模型实现自主代理。马西尔说：“我们测试了很多东西，实施了研究论文，测试了开源的GitHub代码库。总体来说，结论是LLMs完全不可靠。这意味着LLMs做出了错误的决策。”“最终，任务未完成。”
根据他的说法，GPT-4V经过大量不同软件界面和基础代码的训练，开启了新的可能性。Mercier说：“当你展示一个界面时，它能理解按钮背后的功能。”
与Zapier和其他自动化产品不同，Twin Labs不依赖于API和设计复杂的多步骤流程。相反，Twin Labs更像一个Web浏览器。这个工具可以自动加载网页，点击按钮和输入文本。
例如，如果你正在招聘某人，你可能需要在你的工资系统中添加这个人的信息，发送一个邀请到Slack，创建一个Google Workspace账户并邀请你的新员工创建一个医疗保险提供商的账户。
公司通常会保留一份冗长的任务清单，每当有新成员加入时就会按照清单进行操作。这些任务并不复杂，但执行时需要按照正确的顺序，并勾选一些特定的复选框，这一点非常重要。因此，能够利用屏幕录像和自然语言描述来训练Twin Labs的AI助手将变得非常重要。
但该创业公司还没有实现目标——正在朝着这个愿景努力。创始人Hugo Mercier和Joao Justi花了最近六个月时间建造了这个产品的原型。他们还从Betaworks、Motier Ventures和许多天使投资者（如Florian Douetteau（Dataiku）、Thomas Wolf（Hugging Face）、Charles Gorintin（Alan）、Mehdi Ghissassi（DeepMind）、Romain Huet（OpenAI）、Irwan Bello（OpenAI）、Romuald Elie（DeepMind）、Yan-David Erlich（Weights & Biases）、Olivier Pomel（DataDog）、Rodolphe Saadé（CMA CGM）、Thibaud Elziere（Hexa）、Quentin Nickmans（Hexa）、Philippe Corrot（Mirakl）和Rand Hindi（Snips，Zama））筹集了300万美元的种子融资。
对于双子实验室的自主智能代理系统，仍然存在很多挑战。比如，完成一个任务的成本相当高，但在人工智能领域，API和基础设施的成本正在迅速下降。双子实验室将首先推出一个带有预训练任务库的产品，以确保它们能够良好运行。之后，该初创公司预计会开放其平台，让客户可以自己创建任务。
虽然许多人将AI产品与聊天机器人界面联系在一起，但Twin Labs的方法非常有趣，因为这是一种与AI模型互动的创新方式。“我们真的想深入了解人们日常生活中的琐碎事情，以及我们如何能够替他们处理一些繁琐的事情，”Mercier说道。
