苹果将其“苹果智能”引入开发者,允许Siri控制应用程序
苹果智能(Apple Intelligence)是苹果的新一代生成式人工智能产品,不仅面向消费者,开发者们也可以利用最新的技术。在周一举行的苹果全球开发者大会(WWDC)上,苹果公司宣布开发者们可以将由苹果智能提供支持的体验整合到他们自己的应用中。
苹果的SDK(软件开发工具包)已更新,加入了多个新的API和框架,这将使应用开发者能够轻松地集成图像播放器和genAI图像创建等功能,只需几行代码。苹果展示了Craft这样的应用如何利用这一功能,让用户能够添加人工智能图像来使他们的文档更具视觉效果。
由人工智能驱动的写作工具将自动在使用标准可编辑文本视图的任何应用程序中可用。为此,苹果演示了像Bear Notes这样的应用程序将自动允许用户重写、校对和总结他们的笔记。
此外,苹果正致力于为开发者提供更多的方式,让他们可以通过Siri在应用中进行操作。
苹果表示,已经采用了SiriKit的开发人员将立即看到Siri许多新功能的增强,而他们无需额外付出任何工作。这些功能包括清单、笔记、媒体、消息、支付、餐馆预订、VoIP通话以及锻炼等领域。
在苹果的开发者主题演讲中,苹果表示有两个新的Siri功能,开发者可以无需额外的工作就能受益。首先,Siri将能够调用应用程序菜单中的任何项目。这意味着用户可以在他们的幻灯片中说一些像“显示我的演讲者笔记”甚至更具对话性的内容,如“我需要查看我的演讲者笔记”。
其次,Siri将能够访问使用苹果标准文本系统显示在页面上的任何文本。这将允许用户参考并针对屏幕上的文本采取行动。例如,如果你有一条提醒或备注“祝爷爷生日快乐”,你可以直接说“给他打FaceTime”来执行这条备注。
与此同时,苹果的App Intents框架将可以获得苹果智能的访问权限,该框架允许在没有安装应用的情况下进行轻量级的类似应用的交互。
苹果正在定义新的意图,并将它们提供给开发者,涵盖的类别包括图书、浏览器、摄像头、文档阅读器、文件管理、日记、邮件、照片、演示文稿、电子表格、白板和文字处理软件。
苹果声称,这些意图已经被定义和测试,以便开发者更容易地采用。
有了意图,像Darkroom这样的照片编辑应用可以利用“应用滤镜”意图,这样用户只需说“给昨天我拍的Ian的照片应用一个电影般的效果”就可以让应用程序采取行动。更多领域将会逐渐添加。
最初,用户可以使用Shortcuts应用程序进行开发,但随着时间的推移,Siri将具备在支持的领域中调用应用程序意图的能力。
另外,苹果在发布会上分享,适用于现有SiriKit领域的应用程序将能够受益于Siri增强的对话能力,比如即使你结巴了或者引用了对话早期部分,也能够正确回答或理解。
Siri还将能够使用新的Spotlight API来从应用程序中搜索数据,该API使应用实体被包括在其索引中。这些实体包括苹果智能语义索引中的照片、消息、文件、日历事件等内容。
周一,该公司宣布推出了自己的密码管理器应用、AI生成的Bitmoji以及iPad版的计算器。
这篇帖子在发布后进行了更新,添加了开发者主题演讲中的更多信息。