63.与 Sensor 联动的高动态补偿设计：从像素级曝光控制到智能融合机制的全链路优化

与 Sensor 联动的高动态补偿设计：从像素级曝光控制到智能融合机制的全链路优化

关键词

高动态范围、Sensor 联动、曝光分区控制、Smart Gain、Pixel-Level HDR、Staggered HDR、预判感知、行曝光动态调度、Sensor-AI-ISP 协同架构

摘要

在移动影像系统中，高动态场景（如逆光、夜景、灯光混合等）始终是画质提升的重要战场。传统 HDR 主要依赖多帧合成方式完成亮暗信息补偿，但这一方案存在延迟大、Ghost 伪影、功耗高等问题。随着 Sensor 架构与 ISP 协议的持续演进，一种更高效的路径正在逐渐主流化： 与 Sensor 联动的高动态补偿设计 。

本文聚焦行业主流 Sensor 架构（Sony IMX、Samsung ISOCELL、OmniVision PureCel Plus 等）与高通、MTK、三星平台上的真实实践路径，系统梳理当前基于 Sensor 层进行曝光控制、增益补偿与图像结构预处理的机制，并结合 ISP 调度与 AI 模型对动态信息的理解与分配策略，构建“感知即调度”的动态范围增强体系。

目录

1. 高动态场景成像挑战：传统 HDR 的局限与延迟瓶颈
2. Sensor 架构演进：Pixel-Level HDR、Dual Conversion Gain 与 Smart Timing
3. 行曝光/像素分段机制：Staggered HDR 与 Rolling Shutter 联动设计
4. 曝光控制策略实战：Sensor 层曝光配置与 ISP 映射路径
5. 与 AI 模型协同的场景感知曝光预判系统
6. 案例分析：Sony IMX890 / Samsung GN5 在多平台下的动态优化路径
7. 平台级部署机制：从 Camera HAL 到 Sensor 驱动的协同控制接口
8. 展望趋势：统一 Sensor-AI-ISP 架构下的主动式 HDR 感知系统

1. 高动态场景成像挑战：传统 HDR 的局限与延迟瓶颈

在日常使用手机拍照时，用户最常遇到的挑战之一就是高动态场景 —— 比如 逆光人像、室内外明暗反差、夜景灯光混合 等。这类场景中同时存在极暗和极亮区域，使得普通单帧图像无法兼顾细节与曝光，常见表现包括：

• 暗部发黑、细节丢失；
• 高光溢出，天空死白或灯光泛黄；
• 人脸发灰、发暗或带伪影。

传统的解决方案是多帧 HDR：通过短曝光保留高光，长曝光提亮暗部，合成图像以扩展动态范围。然而， 此方案的工程成本高、对动态场景鲁棒性差 ，主要体现为：

• 帧间延迟大 ：合成需要等待完整曝光和图像传输完成，存在几十 ms 延迟；
• 运动伪影问题 ：帧间物体运动引发“Ghost”，需增加 Ghost Remove 模块处理，代价高；
• 功耗与性能负担大 ：需要双缓存、并行对齐与合成处理，对 ISP 带宽与 NPU 调度要求高；
• 不适配快拍场景 ：如抓拍、运动跟拍时，用户容易捕捉到“合成中”或“动态失败”的成像状态。

因此，业界开始向前探索更底层的解法 —— 在 Sensor 层就完成对亮暗信息的采集控制，弱化对多帧合成的依赖 ，并通过联动 AI 感知模块与 ISP 实时图像分析，实现从感知到补偿的闭环 HDR 能力。

这类能力的核心关键词是： Sensor 联动 ，它将 HDR 的决策点从图像处理层前移到原始光电转换阶段，带来更快的响应、更低的延迟、更自然的成像风格。

2. Sensor 架构演进：Pixel-Level HDR、Dual Conversion Gain 与 Smart Timing

Sensor 能力的进化，决定了整机成像系统的“输入极限”。近三年内，主流 Sensor 厂商围绕动态范围提升，提出了多个架构级革新技术，关键包括：

2.1 Pixel-Level HDR（逐像素 HDR）

代表厂商：Sony IMX 系列（IMX989、IMX890）、Samsung ISOCELL GN 系列

• 支持在同一帧中， 每个像素或像素组具备独立的增益与曝光时间 ；
• 典型为 2×2 Quad Bayer 结构，每个子像素使用不同曝光参数（如 Short/Long）；
• 输出时已具备基础亮暗融合能力，合成图像结构更自然；
• 极大提升对动态场景的响应速度，解决 HDR 失败或延迟问题。

实战测试显示，IMX890 在 Quad HDR 模式下帧延迟仅为传统多帧合成的一半，支持高频连拍与 4K 视频下 HDR 实时预览。

2.2 Dual Conversion Gain（DCG）

代表厂商：Sony、OmniVision

• 提供两种电子增益路径（High/Low Conversion Gain）用于控制弱光和强光下的 SNR 与饱和特性；
• 在硬件层控制转换电容切换，实际就是低光增强 / 高光抑制的精细级别动态调节；
• 部分 Sensor（如 OmniVision OV50A）支持逐像素切换 Gain 模式，实现局部曝光压缩；

此方案对夜景拍摄效果显著提升，能有效保持暗部纯净度、压缩高光区色彩漂移风险。

2.3 Smart Timing Controller（Staggered HDR 基础）

代表厂商：Samsung、OmniVision、SK Hynix

• 支持 Rolling Shutter 模式下的多帧嵌套读取（Staggered Readout），实现快速顺序采集 S/L/L2 帧；
• 不依赖额外缓存或触发指令，Sensor 可根据行时序直接完成多曝光读取；
• 帧与帧间物理距离更小，便于后续 ISP 处理对齐，也降低 Ghost 风险；

OmniVision OV64B 即为典型：支持 3-Exposure RAW HDR，同时保证高速帧率与最小化读取干扰，已被广泛用于安卓旗舰与主流高端机型。

3. 行曝光/像素分段机制：Staggered HDR 与 Rolling Shutter 联动设计

在移动设备中， Staggered HDR 是目前最主流、最可控的基于 Sensor 侧的高动态采集机制，结合 Rolling Shutter（滚动快门）设计，可以在同一帧周期内完成多个曝光帧的采集，避免了传统多帧 HDR 的延迟和对齐问题。

3.1 Staggered HDR 基本原理

Staggered HDR 本质是基于 时间分段采样 的策略：

• 传感器的同一行像素，在不同时间段内以不同曝光时间采集；
• 如：行 1-1000 采集 Short 曝光，行 1001-2000 采集 Mid，行 2001-3000 采集 Long；
• 结果是 Sensor 内部缓存同时记录 3 组原始 RAW 数据（S/M/L）；
• 在后续 Readout 时同时输出，供 ISP 执行 Tone Merge 处理。

这种机制要求 Sensor 支持高速读出、多路缓存和时序控制能力，并且要求 ISP 或 AI 模块能正确解析这些数据段并恢复统一图像结构。

3.2 Rolling Shutter 联动：曝光间隔控制的关键

Staggered HDR 基本都运行在 Rolling Shutter 模式下，因此其性能受制于：

• 帧周期长度（Frame Time） ：决定了能嵌入多少帧（2 or 3 exposures）；
• 行读出速率 ：直接影响曝光时间调度精度；
• 曝光间隔控制（ΔT） ：必须足够短，才能降低帧间位移与 Ghost 风险。

典型策略：

部分平台（如 Qualcomm Spectra、MediaTek Imagiq）已支持在 Camera HAL 中配置这一联动参数，控制 Sensor Row Time 与 ISP Exposure Slot 的映射。

4. 曝光控制策略实战：Sensor 层曝光配置与 ISP 映射路径

在工程部署中，Sensor 实际运行的曝光策略并不是固定的，而是由 ISP、AI 模块或系统层动态调度产生，并根据场景实时配置到 Sensor Driver 层。该过程核心在于：

1. 感知场景亮度范围 ；
2. 预测所需曝光比例（如 1x-2x-4x） ；
3. 将曝光时间与增益写入 Sensor 寄存器 ；
4. 与 ISP 输入接口同步，完成曝光区段与图像结构的对齐 。

4.1 曝光配置方式（Sensor 侧寄存器控制）

各家 Sensor 会暴露如下关键控制接口：

• SHS1 , SHS2 , SHS3 （Start of Exposure）
• FLL , VBP , Exposure Slot （Frame Line Length, VBlank）
• Analog Gain , Digital Gain （增益控制）

例如：

// 曝光段配置示意（IMX890）
write_register(SHS1, 200);  // Short
write_register(SHS2, 400);  // Mid
write_register(SHS3, 800);  // Long
write_register(AnalogGain, 0x3A);

上述值一般由 ISP 层运行时写入，在 Android 平台中通过 V4L2_SUBDEV_S_FMT 与 CAMERA3_CAPTURE_REQUEST 接口进行传递。

4.2 ISP 映射路径（帧数据路由）

ISP 在处理从 Sensor 读取的 Staggered 数据时，需要：

• 判断各帧对应哪一曝光段（基于 Frame Metadata 或 RAW Header）；
• 将 S/M/L 帧分别映射到 HDR 融合流水线的不同输入口；
• 提前为这些帧准备相应的合成权重图（预加载或动态预测）；

常见实现方式：

• Qualcomm Spectra ：

  • 使用 Native HDR Stream Buffer，硬件自动区分帧段；
  • 提供 Exposure_Index 与 Confidence_Map 输入至 AI HDR 模块；

• MediaTek Imagiq ：

  • 配合 APU 模块进行 Luma 曲线预测，根据 AE 分析结果动态调节融合比例；

• 三星 Exynos ISP ：

  • 结合 Scene Recognition Engine 输出 “HDR 意图图”，用于控制 S/M/L 帧的合成比；

4.3 动态曝光策略范例

这类动态策略的核心目标是： 实时根据场景确定合理的曝光比例与感光增益配置，并确保该配置路径能完整传递至 Sensor 驱动层与 ISP HDR 融合模块 。

5. 与 AI 模型协同的场景感知曝光预判系统

传统的 HDR 曝光策略通常依赖于 Auto Exposure（AE）模块的亮度直方图评估逻辑，其对复杂结构场景（如：人脸逆光、窗外强光等）的响应速度和识别准确率有限。而在当前移动影像架构中，越来越多的厂商将 AI 模型引入到曝光预测与控制环节 ，构建感知驱动的 HDR 预判系统，以提升曝光策略的稳定性与响应性。

5.1 模型接入位置：AE 前置 + Sensor 配置后置

AI 模型通常插入在 AE 模块之前，作为“场景意图识别”模块运行，核心作用是：

• 识别场景中存在的人脸、天空、地面、文字等关键区域；
• 判断整体场景的对比度、动态范围分布与曝光优先区域；
• 输出“曝光决策引导参数”，供 AE 与 Sensor 控制模块使用；

这一机制在高通平台被称为 Smart AE ，在 MTK 平台称为 Scene-Aware AE ，三星则将其集成在 Scene Recognition Engine 中运行。

5.2 感知特征提取与曝光标签预测

模型输入：实时预览帧（通常为 640×480 低分辨率 RGB 图）
模型结构：轻量级 CNN（如 MobileNetV2、EfficientNet-Lite）
输出结果包括：

• 动态范围标记（Low / Mid / High DR）；
• 曝光模式预测（ZSL / Dual / Triple HDR）；
• 核心区域权重图（Region-of-Interest for Exposure）；
• 可能的合成配置（Exposure Ratio、Gain Range）；

部分平台（如 Pixel 的 HDRNet+）直接将这些输出用于 HDR 合成时的 tone mapping 指导，而更多平台则用于指导 Sensor 侧的帧结构设定。

5.3 动态预判控制逻辑范例

模型决策输出可通过如下路径写入 Sensor 配置：

1. AI HDR Config → AE exposure request → Sensor RegMap
2. Camera HAL 调用 ISP 曝光管理接口：如 setDynamicExposureSlot(...)
3. 驱动层写入多帧 Exposure + Gain 配置表

AI 模型的引入，使 HDR 不再是被动响应光线差异的处理，而成为主动感知场景结构后做出的光线采集决策，真正实现“以意图为中心”的曝光控制。

6. 案例分析：Sony IMX890 / Samsung GN5 在多平台下的动态优化路径

以下以两款主流高性能 Sensor——Sony IMX890 与 Samsung GN5 为例，分析其在高通、MTK 与三星平台下的实际动态补偿部署策略与成像调优路径。

6.1 Sony IMX890（广泛用于 OPPO、OnePlus、realme）

技术特性 ：

• 1/1.56 英寸大底；
• Quad Bayer 像素结构；
• 支持 Staggered HDR + Dual Gain；
• 全像素全向对焦 + 像素级曝光可编程控制。

部署案例 A：IMX890 + 高通 8 Gen2

• 曝光调度：

  • 使用 Spectra ISP 的 Native HDR 接口；
  • 配合 AI Scene Detector 控制 Sensor 的行曝光配置；

• 调优手段：

  • 使用 HDRNet 执行后融合亮度调整；
  • 合成策略中为人脸分配高融合权重，背景执行高频滤波平滑；

• 亮点：

  • 对人像逆光表现极佳；
  • 动态范围覆盖 18~19 EV，有效抑制白爆与黑死。

部署案例 B：IMX890 + MTK Dimensity 9200

• 使用 Imagiq 790 ISP + APU 模型做 Smart AE；
• APU 输出 HDR 结构图，驱动 Sensor 写入三段 Exposure；
• 开启 YUV 后融合引擎调整色调映射；
• 可动态切换 RAW HDR 与 ZSL HDR 模式；

6.2 Samsung GN5（用于 Galaxy S22、部分小米/魅族旗舰）

技术特性 ：

• 1/1.57 英寸；
• ISOCELL 2.0 + Dual Pixel Pro；
• 支持 Smart ISO Pro、Staggered HDR、Multi-Gain Fusion；
• 优化人脸与背景亮度配平能力。

部署案例 A：GN5 + Exynos 平台

• 使用 Scene Recognition Engine 判断拍摄意图；
• 对人脸区域使用 Short+Mid 曝光构建高保真 HDR；
• 后处理采用自研 Tone Fusion 模型，强调肤色与背景均衡；
• 实测夜间城市拍摄细节丰富，过曝压制强，风格自然。

部署案例 B：GN5 + 高通平台

• 曝光策略：

  • 采用 3-Exposure 模式，Short=1ms, Mid=5ms, Long=15ms；
  • 结合 ISP 动态 LUT 曲线执行前融合处理；

• Ghost Remove 模块基于 AI Motion Mask 过滤运动伪影；

• 成像效果：

  • 在街景、展馆等高动态场景下亮度层次明显提升；
  • 面部立体感更强，天空保留更多层次细节。

7. 平台级部署机制：从 Camera HAL 到 Sensor 驱动的协同控制接口

在手机影像系统中， 高动态补偿能力是否真正落地，并非仅依赖 Sensor 或 ISP 的“纸面参数” ，而取决于软件平台能否在采集链路中做到精确调度、低延迟传输与模块间的协同融合。

这一过程必须覆盖从 App 层 → Camera HAL → ISP → Sensor Driver → Frame Buffer 的全流程，每一个环节都涉及到动态配置、数据同步和时序控制。

7.1 Android Camera HAL 中的 HDR 参数注入

当前主流 Android 平台支持在 HAL3 架构中通过扩展 Metadata 对 Sensor 和 ISP 进行协同控制，核心接口包括：

• android.control.sceneMode : 支持 HDR_ON、HDR_AUTO 等策略；
• android.sensor.exposureTime[] : 支持多段曝光时间写入（Staggered HDR 模式）；
• android.sensor.sensitivity[] : 对应 ISO、模拟增益控制；
• android.control.aeMode : 控制 AE 是否自适应合成；
• android.control.captureIntent : 指定当前帧是否用于 HDR；

许多厂商还通过 Vendor Tag 扩展机制 ，开放以下私有能力：

com.vendor.hdr_mode: [zsl_hdr | raw_hdr | staggered_hdr]
com.vendor.hdr_exposure_ratio: [1x, 4x, 16x]
com.vendor.hdr_exposure_schedule: [short=1ms, long=8ms]
com.vendor.scene_roi: [x, y, w, h]

厂商自定义 HAL 层（如 MIUI Camera HAL、ColorOS HAL）可通过这些接口动态调度 Sensor 模式与曝光策略，并根据 Scene AI 分析结果预配置曝光计划。

7.2 ISP 控制接口与 Sensor Driver 协同流程

一旦 HAL 确定了 HDR 模式和参数，就需将这些信息准确同步给 ISP 和 Sensor 驱动层。此过程大致路径如下：

Camera HAL
   │
   ├──> AE/AWB 模块解析 HDR 配置意图
   │
   └──> ISP Configuration Interface（例如 Qualcomm Spectra Config API）
             │
             ├── 控制 HDR 合成模式（2帧/3帧）
             ├── 分配曝光通道（S/M/L）
             └── 配置融合策略（融合权重、tone curve）
   ↓
Sensor Driver
   └──> 通过 I2C 寄存器接口下发：
         - 曝光帧区段
         - 读取时序
         - 增益等级

不同平台实际示例：

• Qualcomm Spectra ISP ：

  • 提供 Sensor Fusion Interface ；
  • 支持通过 setHDRSlotConfig() 统一控制 Staggered 曝光段；
  • 与 AON 模块共享 AE ROI，提升帧间同步精度；

• MediaTek Imagiq ：

  • AE-ISP-Sensor 三者数据通道为独立调度链，使用 APU HDR Config 实现融合前推理；
  • Sensor 曝光数据与 ISP HDR Buffer 强绑定，避免因曝光帧错位引发图像错乱；

• 三星 Exynos ISP ：

  • 提供 SmartISO API 可切换多 Gain 结构；
  • 搭配 Scene Recognition 模型输出人脸位置与区域曝光图；
  • Sensor 在曝光帧开始前完成所有寄存器写入与 gain 计算；

7.3 工程调试建议

在实际调优 HDR 动态补偿策略时，需配合以下工具与策略：

• Sensor Driver Trace Log ：检查曝光参数下发是否同步；
• ISP Frame Tagging ：确认 HDR 合成中各帧归属正确曝光段；
• AE 调试热图 ：观察实际曝光 ROI 是否符合意图；
• HDR Buffer Viewer ：对比多曝光帧结构是否存在 Ghost 或过渡问题；

通过平台级完整路径调度，HDR 补偿才不再是模块孤岛，而真正形成感知-决策-成像一体的闭环系统。

8. 展望趋势：统一 Sensor-AI-ISP 架构下的主动式 HDR 感知系统

当前，HDR 能力已从最初的后处理模块演变为涵盖从采集到成像的全流程智能补偿体系，未来的发展方向将围绕以下四个核心趋势展开：

8.1 Sensor-AI-ISP 架构深度融合

未来旗舰平台将不再分散部署 HDR 模块，而是建立“端到端”HDR 感知融合架构：

• Sensor 层提供多段曝光能力（Staggered + Smart ISO + DCG）；
• ISP 层负责数据解包、帧匹配与融合前对齐；
• AI 层执行场景感知、ROI 权重预测、肤色保护增强等任务；

这种三层一体架构，将通过统一的 HDR 控制总线完成协同配置，降低延迟、减少功耗、提升输出稳定性。

8.2 自适应曝光策略动态学习

基于用户历史拍摄行为，系统将具备以下能力：

• 记忆用户在不同场景中的 HDR 偏好（柔和 / 强烈 / 自然）；
• 自动适配拍照风格、曝光权重与合成模式；
• 在连拍、视频拍摄中动态切换融合路径（ZSL HDR → RAW HDR → Single ISO HDR）；

高通、联发科、三星等平台正在推进 AI Profile Driven HDR Pipeline 项目，用于实现“每位用户定制的 HDR 行为逻辑”。

8.3 ISP 语义调色与 AI HDR 融合

传统 HDR 调色基于直方图与 Gamma 曲线，将演进为：

• 人脸区域保留暖色调，背景执行压制式曝光；
• 天空自动平滑、草地局部提亮；
• AI 模型根据拍摄内容动态构建融合曲线（如 HDRNet-style tone mapping）；

三星 OneUI 中“色调优化 HDR”就是该方向初级版本，未来将进一步扩展到视频拍摄、滤镜融合与 RAW 导出路径。

8.4 全链路部署工具链标准化

最后，实现上述系统性 HDR 感知架构的关键在于 标准化的工具与接口体系 ，包括：

• 模块化 HDR Fusion SDK；
• Sensor 端曝光配置开放接口；
• Camera HAL 多段曝光调试 API；
• ISP Vendor Tag 跨平台兼容层；

只有通过标准化，HDR 能力才能下沉中端 SoC、向三方相机厂商开放，构建一个统一、高效、智能的影像系统生态。

本文转自 https://jc-performance.cn//online/3105_148641613.html，如有侵权，请联系删除。