玻璃利用人工智能为智能手机相机加速 —— 无需幻觉

你的手机相机与硬件一样，也是软件的一部分，Glass希望改善二者。然而，尽管其独特的变形镜头即将上市，但该公司（依靠930万美元的新融资）已经发布了一款基于人工智能的相机升级，据称大大提高了图像质量，且没有任何奇怪的人工智能放大伪影。

GlassAI 是一种纯软件方法，用于改善图像，他们称之为神经图像信号处理器（ISP）。 ISP 基本上是将原始传感器输出（通常是平坦、噪音大和失真的）转化为我们所见到的清晰、丰富色彩的图像。

随着苹果和谷歌等手机制造商的不断推陈出新，网络服务供应商（ISP）的复杂性也越来越高。他们通过合成多个曝光图像，迅速检测和清晰人脸，调整微小运动等方式来提高图像质量。虽然许多手机包含了一些形式的机器学习或人工智能，但他们必须小心谨慎：使用人工智能生成细节可能会产生幻觉或伪造品，因为系统试图在没有真实信息的情况下创建视觉信息。这样的“超分辨率”模型在适当的场景中很有用，但必须仔细监控。

Glass（谷歌眼镜）基于一个独特的菱形前方元件，制造了一个完整的相机系统，并提供了相应的图像信号处理器（ISP）。目前，谷歌眼镜正在开发一些即将推出的设备，以进入市场。然而，这款相机系统所配备的ISP本身也是一个值得销售的产品。

“我们的修复网络能够纠正光学畸变和传感器问题，同时高效去除噪点，比传统的图像信号处理技术在细节纹理恢复方面表现更出色。”公司首席技术官兼联合创始人汤姆·毕晓普在新闻发布中解释道。

“恢复”这个词是关键，因为细节不仅仅是从原始图像中创建出来的，而是被提取出来的。根据你的相机堆栈的工作方式，你可能知道某些伪影、角度或噪点模式是可靠地解决的，甚至可以利用它们。学习如何将这些暗含的细节转化为实际细节，或者结合多个曝光的细节，是计算摄影堆栈的重要部分。联合创始人兼首席执行官Ziv Attar表示，他们的神经ISP比行业中的任何一个都要好。

他指出，即使是苹果公司，也没有完整的神经图像堆栈，只在需要的特定情况下使用它，而且他对他们的结果并不满意。他举了一个苹果公司神经处理器在正确解读文本方面失败的例子，而谷歌在这方面表现要好得多。

他说：“我认为可以公正地假设，如果苹果无法取得令人满意的结果，那就是一个难题。” “这与真正的技术堆栈关系较小，更多的是与训练的方式有关。我们有一种非常独特的方法，在开发用于变形透镜系统时开发的，对任何相机都有效。基本上，我们有一些训练实验室，涉及到机器人系统和光学校准系统，成功地训练了一个网络，以非常全面的方式表征镜头的畸变，并从根本上消除任何光学失真。”

作为一个例子，他提供了一个案例研究，其中他们让DXO评估了Moto Edge 40上的相机，然后再安装GlassAI进行评估。经过Glass处理的图像明显改善，有时甚至戏剧性地提升。

在光线较暗的情况下，内置的 ISP 很难在夜间模式下区分细线、纹理和面部细节。使用 GlassAI，即使曝光时间减少一半，它仍然能够锐利得像大头针。

你可以通过在原始照片和最终成品之间切换来观察Glass提供的一些测试照片上的像素。

组装手机和照相机的公司必须花费大量时间来调试 ISP，以便传感器、镜头和其他零件能够很好地协同工作，以获得最佳图像效果。然而，据看来，Glass 的一揽子处理流程可能能在短时间内更好地完成此任务。

“从我们接触新型设备开始，到我们训练出可供出货的软件所需的时间，从几个小时到几天不等。作为参考，手机制造商花费数月时间来调整图像质量，拥有庞大的团队。我们的工艺是完全自动化的，所以我们可以在几天内支持多个设备，” Attar说道。

神经图像信号处理器（ISP）也是端到端的，这意味着在该情景下，从传感器的原始数据直接到最终图像，无需额外的去噪、锐化等处理。

当我问到时，阿塔尔小心地把他们的工作与超分辨率AI服务区分开来。超分辨率AI服务通常是将一张成品图像放大。它们通常并非真正“恢复”细节，而是在合适的地方“创造”细节，这个过程有时会产生不理想的结果。尽管Glass使用了人工智能，但它不像许多与图像相关的人工智能一样生成性。

今天标志着该产品的大规模上市，预计在与合作伙伴进行长时间测试后。如果你制造安卓手机，最好至少试一试。

在硬件方面，拥有奇怪菱形异形相机的手机将不得不等待该制造商准备公开发布时。

在Glass开发技术并试用客户的同时，该公司还忙于筹集资金。该公司刚刚完成了930万美元的“扩展种子轮”融资，我将其放在引号中是因为种子轮是在2021年进行的。这轮新的融资由GV领投，Future Ventures、Abstract Ventures和LDV Capital也参与其中。