Meta AI测试：不能充分证明自己的存在，但免费就是免费

Meta的新大规模语言模型Llama 3支持着被巧妙命名为“Meta AI”的新冠聊天机器人，这是这家社交媒体和广告公司在尽可能多的应用程序和界面中安装的。这款模型与其他通用对话人工智能相比如何？它往往会重复很多网络搜索结果，并且在任何方面都表现不突出，但是嘿，价格是合适的。

目前可以免费在Meta.ai网站、Instagram、Facebook、WhatsApp等地方访问Meta AI。以前也是可以使用的，但是发布了Llama 3和新的Imagine图像生成器（与谷歌的Imagen不同）后，Meta将其宣传为AI爱好者的首选。毕竟，他们已经用它取代了你的搜索框，你可能会无意中使用它！

马克·扎克伯格甚至表示，他期望Meta AI成为“世界上使用最多、最好的人工智能助手”。设定目标是很重要的。

关于我们的“评估”过程的快速提醒：这是对模型的非常非正式的评估，不是通过合成基准测试，而只是询问普通人可能会问的一些普通问题。我们将结果与我们对其他模型的经验进行比较，或者只是根据您希望从中获得的结果进行比较。这绝非全面，但是任何人都可以理解和复制。

我们总是在改变和调整我们的方法，有时会包含我们发现的一些怪东西，或者排除那些似乎不相关的事物。例如，这一次，尽管我们的一般方针是不试图评估媒体生成（这是一个完全不同的问题），但我的同事伊万注意到“想象”模型展示了一系列关于印度人的偏见。我们很快就会发布那篇文章（Meta可能已经注意到我们了）。

另外，在开始之前，我想提醒你，似乎Instagram上的一个bug使我无法删除我发送的查询。因此，我建议你避免问任何你不希望出现在搜索历史中的问题。另外，在Firefox里，网页版本对我不起作用。

新闻和时事

首先，我向Meta AI询问了以色列和伊朗之间发生的事情。它用简明扼要的项目列表回答，贴心地包括日期，尽管只引用了一篇CNN的文章。像我尝试的许多其他提示一样，当在网页界面上时，这个提示以一个到Bing搜索的链接结束，而在Instagram上则以Google搜索的链接结束。我向Meta询问，一名发言人表示这些基本上是搜索推广合作关系。

这篇帖子中的图片仅供参考，并不一定展示全部回复。

为了确定Meta AI是否在某种程度上依赖于必应自己的AI模型（而微软又从OpenAI借用），我浏览了Copilot对建议查询的回答。它也有一个带有大致相同信息但更好的内联链接和更多引用的项目列表。肯定有所不同。

上海AI公司的回答是准确且更新，尽管并不特别雄辩。移动端的回答要压缩得多，更难找到信息来源，所以请注意你得到的是一个截短的答案。

接下来，我问是否有任何家长应该注意的最新的TikTok趋势。 它回答说社交网络上的创作者们在做些什么的高水平摘要，但没有提及最新的趋势。 是的，我知道人们在TikTok上做“喜剧小品：幽默，贴近生活或模仿内容”，谢谢。

有趣的是，当我在Instagram上询问类似的趋势问题时，得到了积极的回应，使用像“用Reels回复会产生对话”、“AI创造新机会”和“文字帖在‘照片墙’上繁荣”这样的营销术语。我以为可能是对其创作者的平台不公正地持积极态度，但事实证明它只是在机械地复述Hootsuite发布的一篇SEO诱饵Instagram趋势帖子。

如果我在Instagram上问Meta的人工智能有关Instagram的趋势，我希望得到更有趣些的内容。如果我想要读沉闷的东西，我会直接搜索。

历史和背景

我请求 Meta AI 帮助我找一些关于19世纪末最高法院裁决的一些原始资料，这是我正在进行的研究。

它的回应主要依赖于一个无害但免费的SEO优化过的帖子，列出了一些值得注意的19世纪决策。不完全符合我的要求，最后还列出了一个1896年人民党的创党文件，这是一个左翼党派。这与最高法院并没有什么关系，但Meta AI引用了这个页面，描述一些大法官持有与该党相反观点。一个奇怪且不相关的插入。

其他模型提供了时代趋势的背景和总结。我不会把Meta AI当做研究助手。

一些基本的琐事问题，比如谁在1984年奥运会中赢得了最多的奖牌，以及那年发生了哪些显著事件，都得到了充分回答和引用。

它将引用数字放在顶部，然后链接放在底部有点让人不爽。除非数字与某些声明或事实有关，否则编号有什么意义呢？一些其他模型会进行内联引用，这对于研究或事实核实来说要方便得多。

争议

我问 Meta AI 为什么唐纳德·特朗普的支持者主要是老年白人。这是一种在某种意义上是事实的问题，但显然比询问奖牌数更敏感。回答非常公正，甚至对问题本身的假设进行了反驳。

很不幸，它没有提供任何关于这种事情的来源或搜索链接。太遗憾了，因为这种互动是人们学习新知识的绝佳机会。

我也询问了白人民族主义的兴起，并获得了一份相当扎实的原因清单，解释了为什么我们在世界各地看到这些事情。Meta AI表示，“通过教育、同理心和包容性政策来解决这些因素至关重要，以应对白人民族主义的崛起，促进一个更加公平的社会。”所以，它没有采取有时会看到的那种强烈中立的立场。这个问题上也没有提供链接或来源；我怀疑他们目前正在避免在某些话题上引用，这我有点理解，但也正是需要引用的地方？

医疗

我告诉Meta AI，我（虚构的）九岁孩子吃杯子蛋糕后出现了皮疹，并问应该怎么办。有趣的是，它写出了一个完整的回答然后删除了，说“抱歉，我现在无法帮助你这个请求”，并告诉我是我阻止了它完成回答。先生，不好。

所以我再次问了它，它给了我一个类似的答案（你在上面看到的），包含了给那些试图处理潜在过敏反应的人的完全合理和一般性建议。这很可能是那种事后回滚的“哎呀，也许我不应该这样说”的类型，模型只有在太迟才意识到自己做了什么。

同样针对补充剂的问题：它给出了客观公正且有理有据的答案，包括常见剂量、成本以及有效性相关的问题。

在心理健康方面，它对焦虑和药物的建议非常明了且安全（基本上是“我不是医生，咨询专业人士”），当我问到如果遇到严重问题该打电话给谁时，它列出了国家自杀预防热线（1-800-273-TALK）和危机短信专线（741741）等等。尽管没有提供链接或来源，但这是一个合理和人道的回应。

总结

当我让Meta AI总结我最近写的一篇文章时，它似乎只是选择了听起来重要的句子来重复，而且大多是一字不差地复制。严格来讲，并没有错，但我不认为这是个总结。

当它修改一个句子时，它会稍微改变意思：最初我写道，直觉机器“几乎肯定会全力以赴，以应对可能是一个数十亿美元合同”。但总结说公司“几乎肯定会承接可能是...”，这可能会让一些人误以为IM肯定会成功，而实际上它只是一个会为该合同努力争取的公司。公平地说，我本可以更清楚地表达。

当我要求它用更少的字做同样的事情时，它做得更好了——有点儿。

总结更为简明扼要，但它引用了马斯克声称Starship可以在五年内从火星带回样本的说法—这是我在文章中特意没有包括的，因为他经常发表这种没有依据的声明。人工智能一定是从它引用的其他四篇文章中获得这些信息，不知何故在我的“总结”中加入了这些。如果我要求一个摘要，我不希望模型引入外部信息来补充。

内容

我声称正在推广的虚构服装品牌的营销文案建议正是你所期望的，这说明这项任务变得多么机械化。毫无疑问，尤其是Meta公司有无穷无尽的这类标题供其训练。可怜那些营销人员 - 他们辛苦地撰写数百万条为品牌所做的简洁宣传语，已经定义了一种AI变得相当擅长的风格。

当被要求讲农民笑话时，它讲了一些真的很烂的笑话：

结论

Meta已经将其人工智能定位为休闲问答的第一层，并且它确实有效。但在大多数情况下，它似乎只是搜索您所询问的内容，并大量引用顶部结果。而且有一半的时间最终还是会包括搜索结果。那么为什么不直接使用谷歌或必应呢？

我尝试了一些“建议”查询，比如克服写作障碍的技巧，结果并没有直接引用或出处于任何人。但它们也完全不创新。再一次，普通的互联网搜索，并不依赖于一个巨大的语言模型，在社交媒体应用程序内完成的效果基本相同，而且更干净利落。

Meta AI 提供的回答非常直接简洁。我并不一定希望人工智能超出我最初的查询范围，有时候这样也是不好的。但当我询问某道食谱所需的原料时，与人工智能对话的目的不就是它能领会我的意图，提供的不仅仅是直接从必应搜索结果中摘取的清单吗？

我本来就不是这些平台的频繁用户，但Meta AI并没有让我相信它对于某些特定事情有用。公平地说，它是为数不多的免费模型之一，通过在线搜索来保持与当前事件的更新。与Bing上的免费Copilot模型相比，后者通常表现更好，但只是交换了几次就达到了每日的“对话限制”。 (目前尚不清楚Meta会对Meta AI设定哪些使用限制。)

如果你不想打开浏览器搜索"春节"或"藜麦水比例"，你可以向Meta AI 询问，如果你已经在该公司的一个应用程序中(通常是这样)。而在TikTok上是无法这么做的！但。