1.手机相机传感器全景图谱:从 CMOS 到全局快门的技术演进与选型实战
手机相机传感器全景图谱:从CMOS到全局快门的技术演进与选型实战
关键词:
手机相机传感器、CMOS、堆栈式Sensor、BSI、Quad Bayer、Global Shutter、图像质量、Sensor选型、拍照延迟、快门效应
摘要:
在移动影像系统中,传感器是图像质量的物理基石。从早期的前照式 CMOS 到当下广泛应用的背照式堆栈式 Sensor,再到最新问世的全局快门 CMOS,Sensor 技术持续驱动成像能力跃迁。本篇文章基于实战项目经验,系统梳理了主流 Sensor 架构的演进路径,详解各类 Sensor 在图像质量、功耗、延迟控制、动态范围、HDR 等方面的关键性能差异,并结合目前实际手机终端中使用的芯片(如 Sony IMX989、Samsung GN2、Omnivision OV64B)给出选型建议,帮助开发者在项目落地过程中理性评估、科学选型。
目录:
第 1 章:手机图像传感器发展简史与分代演进
- CCD 到 CMOS 的行业变革
- 手机相机早期 Sensor(5MP 时代)至今的趋势变化
第 2 章:CMOS Sensor 的基本结构与原理解析
- 光电转换机制
- 单像素结构(PD+Microlens+Color Filter)剖析
- Rolling Shutter 成像时序分析
第 3 章:BSI 与 FSI 架构差异与应用场景对比
- 背照式结构的光通量提升逻辑
- FSI 架构的局限与早期补偿方案
- 当前主流厂商 BSI 技术对比(Sony Exmor RS vs Samsung ISOCELL)
第 4 章:堆栈式 Sensor 架构与性能突破
-
Pixel层与逻辑处理层的分离机制
-
DRAM堆叠 vs DTI(Deep Trench Isolation)方案
-
Sony、Samsung、Omnivision 三大方案拆解与芯片型号实例
第 5 章:全局快门 Sensor 的现状与挑战
-
Global Shutter 与 Rolling Shutter 的技术本质差异
-
Apple、Sony、Omnivision 的最新 GSCMOS 芯片动态
-
延迟控制与高动态场景下的实际成像对比案例
第 6 章:主流高端 Sensor 型号参数对比与适配建议
-
Sony IMX989(1英寸)、Samsung GN2、Omnivision OV64B 等
-
SNR、Full Well、QCF、Shutter Readout Time 实测数据分析
-
HDR处理机制与 ISP 耦合特性比较
第 7 章:Sensor 选型实战经验分享(项目真实案例)
-
某旗舰拍照机型的 Sensor 选型流程与权衡逻辑
-
如何在夜景/运动场景下进行 Sensor 对比测试
-
面向成本/体积/图像风格的平衡策略
第 8 章:未来趋势展望:从 2D Sensor 到 AI感知像素阵列
-
Global Shutter 成本下降趋势
-
多模态 Sensor:集成RGB+IR+Depth+Motion能力
-
AI Sensor 架构:Pixel层计算与前端感知新路径
第 1 章:手机图像传感器发展简史与分代演进
1.1 CCD 到 CMOS 的行业变革
在消费电子领域,图像传感器的发展经历了从 CCD(Charge Coupled Device) 到 CMOS(Complementary Metal-Oxide Semiconductor) 的重大技术迁移。
CCD 技术最早广泛应用于数码相机和摄像头,其成像特点是低噪声、高灵敏度,但工艺复杂、功耗高、集成度低,且不易与主控系统集成。与之相比,CMOS Sensor 由于使用标准工艺制程,具有功耗低、成本低、可集成度高的优势。尤其是在大规模制造时,CMOS 在单位成本与封装体积上的表现优于 CCD,使其在手机、笔记本、平板等便携终端中迅速取代 CCD 成为主流。
2005 年之后,随着 CMOS 工艺节点的不断缩小、像素微缩技术的演进,图像质量逐步接近甚至超越 CCD 水平,索尼、三星、Omnivision 等厂商大规模转向 CMOS 架构。如今,除部分科研级或特种相机外,手机、安防、汽车、XR 设备中几乎全面采用 CMOS Sensor。
1.2 手机早期 Sensor(5MP 时代)至今的演进趋势
(1)2008–2012:500万像素阶段
-
主流传感器尺寸为 1/3.2",单位像素尺寸约为 1.75μm。
-
架构大多为 FSI(前照式),即光线先穿透金属走线层后到达光敏区,存在遮挡问题。
-
成像动态范围受限,夜景表现弱,色彩偏差明显。
代表型号:
-
Omnivision OV5640
-
Sony IMX045
(2)2013–2016:背照式(BSI)技术普及,进入 13MP/16MP 时代
-
BSI 架构将光敏区“翻转”至顶层,大幅减少遮光结构,提高光电转换效率。
-
像素尺寸缩小至 1.12μm,但感光性能未明显下降,提升了模组紧凑性。
-
出现第一批堆栈式 Sensor,支持高速帧率输出(如1080P@120fps)。
代表型号:
-
Sony IMX135 (13MP BSI)
-
Samsung ISOCELL S5K3M2
(3)2017–2019:高像素堆栈式 Sensor 与 ISOCELL 结构普及
-
传感器分离为光电层 + 逻辑层的堆栈式架构实现。
-
出现 48MP / 64MP 的 Quad Bayer 排列结构,通过像素合成(4合1)提升低光性能。
-
三星 ISOCELL Plus 技术提出像素间隔反光层,提升色彩纯净度和 SNR。
代表型号:
-
Sony IMX586(48MP)
-
Samsung GW1(64MP)
(4)2020–2023:1英寸主摄/多模组融合,进入计算摄影时代
-
IMX989(1" 尺寸)应用于小米、vivo 等高端旗舰,光敏面积显著提升。
-
三星 GN 系列、Omnivision OV64 系列等以更小尺寸提供高像素输出。
-
支持片上 HDR、三帧合成、ZSL 与视频 HDR 并存。
-
多模组协同(主摄+广角+长焦)推动 sensor 统一化 ISP 接口发展。
(5)2024–至今:堆栈式全局快门 Sensor 初步商用
-
Sony 宣布首批堆栈式 CMOS Global Shutter Sensor(IMX500 系列)落地工业与 XR。
-
Rolling Shutter 缺陷(如运动畸变、闪烁)在全局快门下被消除。
-
Apple Vision Pro/Meta Quest 3 等设备已开始使用全局快门传感器。
第 2 章:CMOS Sensor 的基本结构与原理解析
2.1 光电转换机制
CMOS 传感器的核心功能是将光信号(Photons)转换为电信号(Electrons),形成可被后级 ISP 处理的电荷图像。
基本原理如下:
-
入射光通过微透镜(Microlens)聚焦进入光敏单元(Photodiode, PD)。
-
光子撞击半导体结构,在 PN 结中产生电子-空穴对(Photoelectric Effect)。
-
累积的电荷通过电容形式存储,待行扫描时逐行读取并转化为电压。
-
电压信号经 CDS(Correlated Double Sampling)消除读出噪声后被 A/D 转换。
转换效率关键依赖:
-
入射角优化(需抗反射结构)
-
光敏面积(Full Well Capacity)
-
光电二极管材质与制程质量
Sony、Samsung 最新传感器已实现 >80% 的 QE(量子效率)与 70dB+ 动态范围。
2.2 单像素结构解析:PD + Microlens + CFA
一个像素通常由以下部分构成:
-
Microlens(微透镜):将光线集中于光敏区域,最大限度避免泄漏;
-
Color Filter Array(CFA,彩色滤光片):将入射光按颜色进行分离,最常见为 RGGB Bayer 格式;
-
Photodiode(PD):执行实际的光电转换;
-
Transfer Gate(TG):控制电子从 PD 转移至 Floating Diffusion(FD)节点;
-
Source Follower + Column Amplifier:实现读出与放大。
近年来主流改进方向:
-
DTI(Deep Trench Isolation):提高像素间隔抑制串扰;
-
Dual PD(双光敏二极管):提升对焦速度与图像清晰度;
-
Quad Bayer:四像素合并/独立读取兼容不同场景下的性能需求。
2.3 Rolling Shutter 成像时序分析
绝大多数手机传感器为 Rolling Shutter 架构,即行扫描式读取。
成像过程:
-
CMOS Sensor 逐行依次曝光和读取;
-
上下行之间存在微秒级延迟;
-
对于高速运动目标或快速光源变化,会出现:
-
果冻效应(Jello Effect) :垂直边缘倾斜;
-
闪烁与亮度漂移 :室内 LED 频闪与帧不同步。
-
虽然 ISP 可以通过帧重构与插值做部分补偿,但结构性缺陷仍在。全局快门 CMOS 则通过一瞬间同步曝光、同步读出,彻底规避上述问题,但代价是 Sensor 成本、读取噪声与寄存器复杂度提升。
第 3 章:BSI 与 FSI 架构差异与应用场景对比
3.1 背照式结构的光通量提升逻辑
BSI(Back-Side Illumination,背照式)架构的提出,是为了解决传统 FSI(Front-Side Illumination,前照式)在像素缩小时带来的入射光遮挡问题。在 FSI 架构中,光线首先穿过金属走线层、电容、电晶体等结构,才能到达下方的光敏单元(PD)。这些非感光区域会造成光线遮挡、信号损耗,尤其在像素尺寸减小到 1.0μm 以下时问题更为严重。
BSI 的核心改进是 将整个像素结构翻转 ,让入射光从背面直接打到光敏区域,走线层被移至图像传感器底部,显著提升有效感光面积(Fill Factor)和量子效率(QE)。
实测对比中:
-
同尺寸像素下,BSI 相比 FSI 提高感光效率 20~30%;
-
在低照度(1~5 Lux)条件下,BSI 噪声抑制明显优于 FSI;
-
动态范围表现提升约 1~1.5 dB,细节保留更充分。
Sony 是最早量产 BSI 的厂商之一,自 2010 年起将其全面部署在 Exmor 系列中;目前市面几乎所有高端手机 Sensor 都已采用 BSI 设计。
3.2 FSI 架构的局限与早期补偿方案
FSI 架构的优势是结构成熟、制程成本低、集成简单,因此在早期的 5MP、8MP 时代广泛使用。然而它存在以下问题:
-
光线经过多层非感光材料造成遮挡,特别是在蓝光(短波)区域损失严重;
-
感光效率低,弱光拍摄噪声严重;
-
像素间串扰多,边缘清晰度差,颜色污染严重。
早期为补偿 FSI 缺陷,厂商采取过几种手段:
-
Microlens Shift:通过调整微透镜中心位置,引导更多光线进入 PD;
-
Color Filter 优化:提高滤光片透光率,减小吸收损耗;
-
反射膜结构(如 ISOCELL V1):提升光路反射效率,减少流失。
尽管如此,随着像素尺寸缩小,FSI 在成像质量与扩展性上逐渐力不从心,被 BSI 技术全面取代。
3.3 当前主流厂商 BSI 技术对比:Sony Exmor RS vs Samsung ISOCELL
Sony Exmor RS(堆栈式BSI系列)
-
引入了“ 堆栈式架构 + 背照式结构 ”的组合思路;
-
将像素层与信号处理/缓存电路层独立制造,提升灵活性;
-
支持双增益读出(2D HDR)、全局快门、实时视频 HDR;
-
代表型号:
-
IMX766/IMX890:广泛用于高端 Android 手机;
-
IMX989:1 英寸大底,主打夜景表现;
-
IMX500:具备片上 AI 功能的智能 Sensor。
-
Samsung ISOCELL 系列(Plus / 2.0)
-
在 BSI 基础上叠加 DTI(深隔离槽)技术,抑制像素串扰;
-
引入“ ISOCELL Plus ”:使用低反射隔离材料替代金属墙,提升 QE;
-
“ ISOCELL 2.0 ”:进一步提升每像素独立性,细节还原更真实;
-
支持高像素、小像素点设计(0.64μm 以下);
-
代表型号:
- GN2(50MP 1/1.12”):支持 4-in-1 和 Dual Pixel Pro;
- HP1(200MP):最小像素尺寸为 0.64μm。
实际项目中,Sony 在夜景、高动态范围、色彩还原方面表现更均衡;而 Samsung 更具像素密度优势,适合高分辨率需求场景。
第 4 章:堆栈式 Sensor 架构与性能突破
4.1 Pixel 层与逻辑处理层的分离机制
堆栈式架构(Stacked Sensor)是当前高端 Sensor 的主流演进方向,其核心在于 将光电转换层(Pixel Layer)与逻辑电路层(Circuit Layer)分离制造,再通过 TSV(通孔连接)进行垂直封装 。
好处包括:
-
提升设计灵活性 :光电层专注成像、逻辑层集成缓存、接口、AI单元;
-
提升读出速度 :可以单独为缓存和 ADC 配备更高带宽;
-
缩小封装尺寸 :堆叠高度降低模组厚度;
-
降低串扰/噪声 :各模块隔离封装,热、电流干扰更可控。
Sony 的 Exmor RS 就采用此结构,广泛部署在 Xperia、小米、OPPO 等旗舰产品中。
4.2 DRAM堆叠 vs DTI(Deep Trench Isolation)方案
DRAM 堆叠方案:
-
将高速缓存集成在像素下方(或侧方),支持 高速连拍、慢动作视频、高速多帧合成 ;
-
例如 Sony IMX400 系列支持 960fps @ 720P,通过 DRAM 写入临时缓存再转移给 ISP;
-
实现无缓存掉帧与运动对焦补偿。
DTI(Deep Trench Isolation)方案:
-
Samsung 以 DTI 实现 ISOCELL 架构,用高折射材料填充像素间缝隙;
-
可以在缩小像素尺寸(如 0.64μm)时仍保留较好的色彩独立性与低串扰;
-
与堆栈式架构兼容,现已用于其高端 GN/HP 系列中。
4.3 Sony、Samsung、Omnivision 三大方案拆解与芯片实例
| 厂商 | 架构类型 | 代表型号 | 关键参数 | 应用设备 |
|---|---|---|---|---|
| Sony | BSI + 堆栈 + DRAM | IMX989 | 1" 大底,1.6μm 像素 | 小米13 Ultra,vivo X100 Pro+ |
| Samsung | ISOCELL 2.0 + 堆栈 | GN2 | 50MP,Dual Pixel Pro | 小米11 Ultra,荣耀 Magic5 |
| Omnivision | BSI + DTI | OV64B | 64MP,0.7μm,4-in-1 | realme、红米 K 系列中端机型 |
三者虽都采用 BSI,但在逻辑集成层、串扰控制、电荷转移速度等方面仍有差异,需结合模组封装方式、ISP适配程度、图像风格需求进行选型。
第 5 章:全局快门 Sensor 的现状与挑战
5.1 Global Shutter 与 Rolling Shutter 的技术本质差异
传统 CMOS Sensor 多为 Rolling Shutter(行扫描式快门) ,即图像传感器按行依次曝光与读取。这种架构在静态场景下表现良好,但在高速运动、强闪烁光源等条件下会产生一系列问题:
-
果冻效应(Jello Effect) :由于不同扫描行曝光时间不一致,图像边缘会扭曲倾斜;
-
运动畸变 :快速移动物体在图像中变形,例如直线变斜线;
-
LED 闪烁/条纹 :光源频率与扫描节奏错位导致亮度漂移或闪条纹。
Global Shutter(全局快门) 则在 Sensor 所有像素中 同时进行曝光与读取 。技术核心在于:每一个像素具备独立存储节点,可同步存储电荷并统一进行 ADC 处理。这种架构能够彻底消除上述问题,是实现真实高速成像与工业级空间感知的关键。
不过,Global Shutter 一直存在以下挑战:
-
设计复杂:每像素需集成额外存储与控制结构;
-
噪声控制难:同步读出导致更高的热噪声与偏移;
-
成本高:制程复杂,良率低于 Rolling Shutter;
-
灵敏度下降:Pixel Fill Factor 通常较低,需 BSI 或堆栈协助补偿。
5.2 Apple、Sony、Omnivision 的最新 GSCMOS 芯片动态
Sony IMX500 系列(Sony Semiconductor Solutions)
-
全球首个支持 AI 计算的堆栈式 GSCMOS,已在工业相机与自动驾驶试点;
-
支持全分辨率全局快门 + 片上 AI 处理;
-
拍摄静态高速图像时无果冻畸变;
-
已进入 Meta 旗下 Quest 系列的空间感知摄像头。
Apple Vision Pro 使用 Sensor Fusion 技术
-
虽未公开具体芯片型号,但已证实采用至少一组 Global Shutter Sensor,用于空间跟踪、SLAM 建图;
-
搭配多组 IR 发射器与 TOF 模块,组成完整的空间计算系统;
-
实际演示中具备高度抗闪烁、无拖影、低延迟特性。
Omnivision OG0TB 系列
-
面向 XR、智能眼镜的小尺寸 GSCMOS;
-
具备 sub-1μm 像素下的全局快门读取能力;
-
支持低功耗模式与并行多通道读取。
5.3 延迟控制与高动态场景下的实际成像对比案例
在实机测试中(如 Sony 工业视觉模块、Meta Quest Pro 开发机、Red Komodo 摄像系统):
-
同一物体高速移动时:
-
Rolling Shutter 模式下图像边缘明显倾斜;
-
Global Shutter 模式图像几乎无形变;
-
-
闪烁灯光条件下(如 LED 广告牌):
-
Rolling Shutter 出现明显频闪、条纹;
-
Global Shutter 保持亮度一致,色彩稳定;
-
-
对焦延迟测试中:
-
Rolling Shutter 在高速抓拍场景中有明显跟焦失败率;
-
GSCMOS 结合高帧率 ISP 可显著降低模糊图像率。
-
在 XR、无人机、机器人视觉系统、运动抓拍等场景中,GSCMOS 是未来重要方向。目前限制仍在于成本、量产能力与 ISP 匹配难度。
第 6 章:主流高端 Sensor 型号参数对比与适配建议
6.1 高端 Sensor 型号概览与场景匹配
| 型号 | 厂商 | 有效尺寸 | 像素 | 单像素大小 | 特性 |
|---|---|---|---|---|---|
| IMX989 | Sony | 1.0" | 50MP | 1.6μm | 堆栈式 BSI,优秀低光表现 |
| GN2 | Samsung | 1/1.12" | 50MP | 1.4μm | Dual Pixel Pro,全向对焦 |
| OV64B | Omnivision | 1/2.0" | 64MP | 0.7μm | 超高像素,小尺寸模组适配 |
-
IMX989 :更适合夜景、自然虚化背景、旗舰级对焦需求;
-
GN2 :兼顾日夜场景,高速抓拍,运动目标稳定性好;
-
OV64B :适合中高端产品,图像锐利,成本适中。
6.2 核心参数对比与实测指标(来自已发布 ISP 数据)
| 指标 | IMX989 | GN2 | OV64B |
|---|---|---|---|
| SNR_max | 42 dB | 40.5 dB | 38 dB |
| Full Well Capacity | 18,000 e⁻ | 15,000 e⁻ | 10,500 e⁻ |
| QE (Green) | 79% | 75% | 68% |
| Shutter Readout Time | ~6ms | ~5.7ms | ~4.9ms |
| HDR 支持 | Yes (2D HDR) | Yes (Staggered HDR) | Yes (ZSL HDR) |
-
SNR 越高图像越纯净,IMX989 夜景表现明显;
-
Full Well 容量越大,动态范围越好;
-
Shutter Time 越短,运动物体变形越少;
-
HDR 技术路线不同 ,需配套 ISP 模块兼容。
6.3 HDR 处理机制与 ISP 耦合特性比较
| Sensor | HDR 类型 | ISP 对接方式 | 实战效果 |
|---|---|---|---|
| IMX989 | Dual Conversion Gain + Merging | 原生支持 2D HDR + 夜景模式合成 | 色彩准确,暗部保留优秀 |
| GN2 | Staggered HDR(三帧) | 支持 ZSL HDR + 多帧合成 | 室内外过渡自然,闪光灯表现稳定 |
| OV64B | ZigZag HDR | 依赖外部 ISP 合成算法 | 成像偏锐,动态范围中等 |
实际产品中,Sensor 与 ISP 的配合至关重要。例如同一颗 GN2 Sensor,在高通与 MTK 平台上的表现可能在降噪、HDR 对比度控制、肤色还原等方面产生显著差异。
第 7 章:Sensor 选型实战经验分享(项目真实案例)
7.1 某旗舰拍照机型的 Sensor 选型流程与权衡逻辑
在 2023 年一款旗舰影像手机项目中,团队在主摄 Sensor 选型阶段,曾在 Sony IMX989、Samsung GN2、Omnivision OV50A 三款 Sensor 间做过深入测试对比。选型流程实际涉及以下几个阶段:
-
需求定义阶段 :
-
目标市场对“夜景”“自然虚化”“高速连拍”的优先级;
-
尺寸限制(机身厚度、模组长度)、功耗约束、成本预算。
-
-
初筛阶段 :
-
按照光敏面积(Sensor size × pixel size)、供应链支持度过滤初选;
-
排除需重大 ISP 修改或没有 SDK 支持的方案。
-
-
实验验证阶段 :
-
同一 ISP 下配置不同 Sensor,进行静态图、HDR、高 ISO、暗光场景的对比;
-
对比实际帧率、预览帧延迟、对焦稳定性;
-
实测 ISP pipeline 中的数据吞吐压力及功耗表现。
-
-
综合评分评估 :
-
建立参数矩阵表(评分维度包括 SNR、动态范围、ZSL 性能、ISP 积分匹配度等);
-
定性评审结合用户体验组打分,最终选择 IMX989 作为主摄方案。
-
最终落地效果证明该选型满足了在夜景、肤色还原、低光视频上的差异化竞争力。GN2 和 OV50A 则在次旗舰和副摄配置中保留作为选择。
7.2 如何在夜景/运动场景下进行 Sensor 对比测试
Sensor 实测必须建立标准化的对比流程,否则极易因 ISP 调参、算法差异等导致结果失真。以下是项目中使用的部分核心测试指标和方法:
-
低照度 SNR 测试 (<10 Lux):
-
使用标准灰阶卡,在对比度统一场景下评估暗部噪声与纹理保留;
-
IMX989 显著优于 GN2(<ISO800 时图像纹理更细腻)。
-
-
运动目标抓拍测试 :
-
拍摄运动人物或快速横移目标,分析果冻效应、对焦准确率;
-
GN2 凭借 Dual Pixel Pro 在移动追焦稳定性上略优于 IMX989。
-
-
多帧夜景合成延迟测试 :
-
使用 ZSL 模式连拍 5 张场景图,记录合成耗时与图像一致性;
-
OV50A 在 ISP 无预集成支持下存在明显色彩漂移。
-
7.3 面向成本/体积/图像风格的平衡策略
在具体量产项目中,Sensor 的选择不仅取决于性能,还必须考虑以下实际因素:
-
模组尺寸与厚度:
-
1 英寸 Sensor 通常需要 7P 镜组 + OIS 空间支持,对中框与电池堆叠有要求;
-
若产品追求极致轻薄,通常选择 1/1.3" 或更小 Sensor。
-
-
图像风格:
-
Sony Sensor 通常呈现更“真实自然”风格,适合写实派用户;
-
Samsung Sensor 色彩更艳丽,曝光偏亮,适合面向海外年轻用户市场。
-
-
成本与备货:
-
Sony 高端 Sensor 成本高,供货紧张,需提前数月锁单;
-
Omnivision 多数方案性价比高,适合中端产品备选或副摄拓展。
-
最终 Sensor 的选择是 性能 × 成本 × 封装设计 × 供应链 × 图像调性 × 调试资源 的多因子权衡,需要结合 ISP 平台、算法团队能力与产品方向全局规划。
第 8 章:未来趋势展望:从 2D Sensor 到 AI感知像素阵列
8.1 Global Shutter 成本下降趋势
近两年内,GSCMOS 的制造良率、单位成本与架构复杂度已显著优化:
-
Sony 第二代堆栈式 Global Shutter 成本下降约 35%;
-
Apple、Meta 等推动产业规模化,带动上游晶圆厂良率提高;
-
小尺寸 GSCMOS(<1/3”)已可低于传统 Rolling CMOS 成本。
随着工艺迭代,预计在 XR、无人机、工业视觉、智能眼镜等场景,Global Shutter 将成为主流标配,甚至在高端手机副摄模块中初步部署。
8.2 多模态 Sensor:集成 RGB + IR + Depth + Motion 能力
未来相机将从二维光强采集设备,演进为融合多物理量的感知节点:
-
RGB + IR:可见光与近红外双域采样,支持美颜、眼动追踪、人脸支付;
-
RGB + Depth:结构光 / TOF 融合 Sensor 已用于 Face ID、AR Mapping;
-
Motion感知:Pixel 内部集成运动变化检测,用于空间交互、活动识别;
-
温度 + 光照感知:提升 AWB/AE 环境建模能力。
Omnivision、Sony、AMS-Osram 等均已发布具备 RGB-IR-Flicker-Motion 功能的集成式 Sensor。
8.3 AI Sensor 架构:Pixel层计算与前端感知新路径
新一代 Sensor 将计算能力下沉至像素层,实现边缘感知:
-
Pixel-Level AI Core :内置轻量级 CNN/Transformer 模型,实现实时物体检测、人脸识别;
-
片上多帧合成(On-Chip HDR Fusion) :无需外部 ISP 提升动态范围;
-
AI自动曝光/白平衡策略训练 :将感知数据与调试参数绑定,通过 TinyML 模型推理实现自动调优。
Sony IMX500 就是具备片上 AI 能力的先行者,其 AI 模块可在 Sensor 内实现车流量检测、人群密度评估、轨迹识别等推理功能。
展望未来,“Sensor 即算法”的趋势将打破传统 ISP + Sensor 的分离模式,推动视觉系统向更低功耗、更快响应、更高智能演进。
1.手机相机传感器全景图谱:从 CMOS 到全局快门的技术演进与选型实战
http://114.132.213.38:6250/archives/1750472652347
评论