张大妈

SME2 技术:手机暗光成像的突破

源自公众号:Arm社区

01-14 18:22

手机暗光拍摄常常充满噪点,这是传感器在低光环境下信噪比急剧下降导致的。传统 ISP 硬件在应对新型算法时显得不够灵活。依托 Arm SME2 技术的神经相机降噪方案,通过软硬件协同设计,为移动设备带来了媲美专业级的暗光成像能力,突破了硬件的功能边界。

SME2 技术:手机暗光成像的突破智能速览

  • 暗光拍摄因信噪比降低导致画质不佳

  • Arm SME2 是面向 AI 推理的 CPU 端高性能技术

  • 神经降噪管线由 UltraLite 与 CollapseNet 两种算法构成

  • 单颗 CPU 核心即可实时处理,性能媲美独立 DSP

  • 开发者可使用熟悉的 C++ 工具链进行编程与优化

  • 在 1 勒克斯极暗光下,成像画质超越纯 ISP 方案

SME2 技术:手机暗光成像的突破精华内容

手机摄影的暗光瓶颈,正被一种全新的软硬件协同设计所打破。这项技术的核心,在于将强大的 AI 计算能力直接融入 CPU,从而实现前所未有的降噪效果。

暗光画质困境

手机摄影在白天光线充足时能拍出清晰锐利的照片,但一到暗光环境画质就会崩塌。这是因为传感器捕捉到的光子数量减少,信噪比(SNR)会急剧下降。在 1000 勒克斯光照下,成像干净通透;而当光照降至 1 勒克斯时,读出噪声就会显现为颗粒感和色彩斑点,同时画面精细细节丢失。

专用的图像信号处理器(ISP)虽能处理标准任务,但面对快速迭代的成像算法,这类固定功能硬件已难以灵活适配新需求。

SME2 技术解析

第二代 Arm 可伸缩矩阵扩展(SME2)是面向 CPU 端 AI 推理的全新高性能技术。它整合了宽位 SIMD 与矩阵乘法运算能力,并依托 SVE2,将高吞吐量的 AI 与计算机视觉加速能力直接融入 CPU 管线。

这项技术已在 Arm 新的 C1 CPU 中启用,并被应用于多款旗舰智能手机。它允许开发者无需等待硬件迭代,就能更便捷地集成新算法,为计算摄影的持续创新提供了坚实基础。

双算法协同降噪

Arm 专为 SME2 打造的神经相机降噪管线,直接在原始数据域中运行,以实现更出色的噪声建模。该管线由两种互补算法构成:UltraLite 时域降噪,通过图像降采样、运动掩码估算和时域信息累积,高效提升暗光视频的稳定性;CollapseNet 空域降噪,采用级联式金字塔结构在 UGGV 色彩空间处理,能在低于 1 勒克斯的场景下出色保留画面细节。

二者结合,形成一套时域-空域联合降噪管线,为视频和静态拍摄的全场景提供稳定可靠的降噪能力。

性能与开发便利

在启用了 SME2 技术的单颗 CPU 核心上,该神经相机降噪方案也能实时处理图像吞吐量,无需独立 AI 加速器即可达到甚至超越 DSP 级别的性能表现。这使得设备在兼顾能效与灵活性的同时,降低了硬件成本。

对于开发者而言,该方案基于优化后的 C++ 代码实现,并支持 Arm C 语言扩展(ACLE)内联函数。开发者可以沿用熟悉的工具链,对卷积、图像融合等关键计算内核进行底层调优,大幅降低了代码优化与迭代的难度。

画质跃升与未来

实验室评测显示,基于 SME2 的神经相机降噪在 1 勒克斯及以下的关键暗光场景中,能显著提升成像画质。输出的画面比纯 ISP 管线甚至是部分高端手机的成像效果更清晰锐利、更自然。这凸显了 SME2 与 ISP 协同工作的互补价值。

展望未来,SME2 还能加速电影模式、暗光增强等其他高级影像功能。凭借性能、可编程性与可扩展性,它已成为通用成像加速器,支撑着软件的持续创新。

噪点处理是摄影的一大难题,而 Arm SME2 技术实现的神经相机降噪为暗光成像提供了灵活高效的解决方案。它并非取代 ISP,而是作为补充能力突破相机功能边界,展现了软硬件协同设计的强大潜力。未来的手机摄影,将在这种协同演进中解锁更多可能。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章