iOS RAW、YUV、JPEG 多格式图像采集机制解析：AVCaptureMultiCam 与并行输出实战

关键词：
iOS 相机、RAW 图像采集、YUV420、JPEG 编码、AVCapturePhotoOutput、AVCaptureVideoDataOutput、并行采集、多路图像输出、图像编码流程、AVFoundation 实战

摘要：
在专业影像采集与 AI 推理落地场景中，开发者越来越关注 iOS 相机系统是否能够在单次拍照或视频流中，同时输出 RAW、YUV、JPEG 多种格式的数据，以满足精细图像处理、AI 加速推理与原始数据保存等需求。得益于 AVFoundation 框架在 iOS 13+ 中引入的高性能图像采集接口，iOS 设备现已支持在拍照过程中以多路方式输出多个格式的图像帧。
本文将围绕 AVCapturePhotoOutput、AVCaptureVideoDataOutput 和图像格式协同机制展开，详细讲解 RAW（.dng）、YUV420（CVPixelBuffer）与 JPEG 编码的并行输出架构、数据传递机制、缓存策略与实战开发注意事项，结合 iPhone 14 Pro 系列的测试验证，为多格式图像采集任务提供可落地的系统级解决方案。

目录

  1. 多格式采集需求背景与系统级支持情况
  2. iOS 图像格式说明：RAW、YUV、JPEG 的底层结构差异
  3. AVCapturePhotoOutput 多格式输出机制解析
  4. AVCaptureVideoDataOutput：YUV 数据帧流的并行构建
  5. RAW + JPEG 同拍实战配置：Photo Settings 多通道绑定实践
  6. 多格式输出的缓冲与同步控制策略
  7. 性能瓶颈分析：高分辨率 RAW + 视频流并发下的优化建议
  8. 工程落地建议：不同格式适用场景与接口组合推荐

1. 多格式采集需求背景与系统级支持情况

在现代移动影像系统中，单一格式图像采集已难以满足工程开发需求。典型应用场景包括：

  • AI 推理任务：需直接获取无压缩 YUV 数据进行模型前处理；
  • 图像还原与 HDR 拼接：需保留高动态范围的 RAW 数据供后期处理；
  • 快速预览与存储：需同步生成 JPEG 进行 UI 展示或上传保存。

为满足这一需求，iOS 自 iOS 13 起引入了 AVCapturePhotoOutput 的多格式输出能力，在拍摄单帧照片时，开发者可以配置多个编码输出（RAW + JPEG）。从 iOS 11 起，开发者还可以使用 AVCaptureVideoDataOutput 持续获取 YUV 视频帧数据。
结合这两者，通过 AVCaptureSession 可构建多格式并行输出的图像采集管线。

系统支持矩阵（以 iPhone 14 Pro 为例）
图像格式是否支持数据类型输出接口
RAW (.dng)✅AVCapturePhoto（RAW）AVCapturePhotoOutput
JPEG✅AVCapturePhoto（compressed）AVCapturePhotoOutput
YUV 420✅CMSampleBuffer → CVPixelBufferAVCaptureVideoDataOutput

需要注意的是，RAW 与 YUV 不可在同一输出通道中共存，需通过不同的 Output 类型并行管理。

2. iOS 图像格式说明：RAW、YUV、JPEG 的底层结构差异

理解三种格式的编码逻辑与内存结构，是后续搭建采集管线与数据处理的基础。

RAW 格式（DNG）
  • 采集来源：来自底层 Bayer 格式（如 RGGB）图像传感器输出；
  • 结构特征：未经过 demosaic、白平衡、降噪、锐化等处理；
  • 用途：高质量图像还原、HDR 重建、图像拼接、色彩校准；
  • 封装格式：苹果采用标准 DNG（Digital Negative）格式输出，包含元数据（EXIF + ColorMatrix + GainMap）。

开发者通过如下设置启用 RAW 输出：

let settings = AVCapturePhotoSettings(rawPixelFormatType: kCVPixelFormatType_14Bayer_RGGB)
settings.isHighResolutionPhotoEnabled = true
settings.embedsDepthDataInPhoto = true
JPEG 格式（压缩图像）
  • 采集路径：源于 ISP 后处理图像流，经过白平衡、降噪、压缩等处理；
  • 用途：快速预览、图像上传、分享保存；
  • 结构特征：支持嵌入 EXIF、GPS、Thumbnail 等元数据；
  • 压缩率：iOS 默认使用质量系数为 0.8 左右的中高画质压缩。

开发者通过：

let settings = AVCapturePhotoSettings(format: [AVVideoCodecKey: AVVideoCodecType.jpeg])

即可开启标准 JPEG 拍照。

YUV 格式（CVPixelBuffer）
  • 采集来源：AVCaptureDevice 实时预览数据流；
  • 格式结构：大多为 YUV 420（双通道），Plane[0] 为亮度，Plane[1] 为色度（UV interleaved）；
  • 用途：AI 推理、实时图像分析、人脸检测、背景虚化；
  • 获取方式：通过 AVCaptureVideoDataOutput，持续获取 CMSampleBuffer。

解析 YUV 示例代码：

func captureOutput(_ output: AVCaptureOutput,
                   didOutput sampleBuffer: CMSampleBuffer,
                   from connection: AVCaptureConnection) {
    let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
    // YUV 数据处理
}

3. AVCapturePhotoOutput 多格式输出机制解析

AVCapturePhotoOutput 是 iOS 相机系统中用于处理静态图像捕获的核心类，其内部支持在同一拍照过程中同时输出 RAW 图像与压缩图像（如 JPEG、HEIF）。这为影像后期增强、AI 分析与图像展示的分流式处理提供了基础能力。

多格式输出的 Photo Settings 配置

开发者通过 AVCapturePhotoSettings 对象进行多格式控制：

let settings = AVCapturePhotoSettings(rawPixelFormatType: kCVPixelFormatType_14Bayer_RGGB,
                                      processedFormat: [AVVideoCodecKey: AVVideoCodecType.hevc])
settings.isHighResolutionPhotoEnabled = true
settings.isDepthDataDeliveryEnabled = true

说明：

  • rawPixelFormatType 控制 RAW 图像格式（如 RGGB 10/12/14bit）；
  • processedFormat 配置输出压缩格式，可选 JPEG、HEIF（建议优先 HEIF）；
  • isDepthDataDeliveryEnabled 可同时附带深度信息。

在执行拍照命令后，系统将同时生成两个图像对象：

  • 一个 AVCapturePhoto 对象中包含 fileDataRepresentation()（压缩图）；
  • 另一个通过 fileDataRepresentation(forRawPhotoSampleBuffer:) 提取 DNG 原始图像。
回调数据解析

照片回调通过 AVCapturePhotoCaptureDelegate 实现：

func photoOutput(_ output: AVCapturePhotoOutput,
                 didFinishProcessingPhoto photo: AVCapturePhoto,
                 error: Error?) {
    if photo.isRawPhoto {
        let rawData = photo.fileDataRepresentation()
        // 保存 .dng 文件
    } else {
        let jpegData = photo.fileDataRepresentation()
        // 生成 UIImage 显示或存储
    }
}

系统会确保压缩图和 RAW 图对应的是同一个快门触发的采样帧，即两个图像帧具有相同的时间戳与对准的图像内容。

可用性与限制
  • 多格式输出要求设备支持 RAW 拍摄（通常为 iPhone 12 Pro 以上型号）；
  • 同一 AVCapturePhotoSettings 中，不能同时启用 LivePhoto 与 RAW；
  • 拍摄过程中系统将独立调度 ISP 路径和 RAW Sensor 路径，存在额外延迟（约 80–120ms）。

这一机制为专业相机 App（如 Halide、ProCam）提供了原始图与处理图同步输出的能力，也是 iOS 拍照系统高级可编程化的核心特征之一。

4. AVCaptureVideoDataOutput：YUV 数据帧流的并行构建

AVCaptureVideoDataOutput 是 iOS 视频预览流或 AI 实时分析中获取 YUV 图像帧的主要接口。它通常用于连续帧处理，输出格式为 CMSampleBuffer，包含一个 CVPixelBuffer 类型图像缓冲区，默认为 YUV420。

构建 YUV 输出流管线

以下为典型的 AVCaptureSession 设置流程，配置 VideoDataOutput：

let videoOutput = AVCaptureVideoDataOutput()
videoOutput.videoSettings = [
    (kCVPixelBufferPixelFormatTypeKey as String): kCVPixelFormatType_420YpCbCr8BiPlanarFullRange
]
videoOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: "yuv.capture.queue"))

if session.canAddOutput(videoOutput) {
    session.addOutput(videoOutput)
}

说明：

  • kCVPixelFormatType_420YpCbCr8BiPlanarFullRange 是 iOS 默认输出的 YUV 格式（NV12）；
  • 输出帧率默认为设备支持的最大帧率（30FPS / 60FPS），可用 AVCaptureDevice.activeVideoMinFrameDuration 精细控制；
  • 回调频率与帧处理时间成正比，若处理逻辑耗时过长，将触发帧丢弃机制。
解码与使用注意事项

接收到 YUV 数据后：

func captureOutput(_ output: AVCaptureOutput,
                   didOutput sampleBuffer: CMSampleBuffer,
                   from connection: AVCaptureConnection) {
    guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
    CVPixelBufferLockBaseAddress(pixelBuffer, .readOnly)

    let width = CVPixelBufferGetWidth(pixelBuffer)
    let height = CVPixelBufferGetHeight(pixelBuffer)

    let yPlane = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0)
    let uvPlane = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 1)

    // 将 yPlane / uvPlane 转为灰度/彩色图或输入 AI 模型
    CVPixelBufferUnlockBaseAddress(pixelBuffer, .readOnly)
}

在 AI 应用中，YUV 数据直接用于模型推理前处理流程，可大幅减少图像格式转换带来的性能开销。

此外，YUV 数据帧时间戳可通过：

let pts = CMSampleBufferGetPresentationTimeStamp(sampleBuffer)

与 AVCapturePhotoOutput 输出的图像帧进行时间同步，构建多格式图像分析通道。

5. RAW + JPEG 同拍实战配置：Photo Settings 多通道绑定实践

要实现在一次拍照操作中同时获取 RAW 和 JPEG 图像，关键在于构造合适的 AVCapturePhotoSettings 配置对象并确保当前设备支持 RAW 输出能力。

步骤一：检测设备 RAW 支持能力

首先确认当前 AVCaptureDevice 是否支持 RAW 拍摄格式：

let photoOutput = AVCapturePhotoOutput()
let supportedRawFormats = photoOutput.availableRawPhotoPixelFormatTypes

guard supportedRawFormats.contains(kCVPixelFormatType_14Bayer_RGGB) else {
    print("当前设备不支持 14-bit RGGB RAW 输出")
    return
}
步骤二：构建 RAW + JPEG 双输出配置

使用 AVCapturePhotoSettings 同时指定 rawPixelFormatType 与 processedFormat：

let settings = AVCapturePhotoSettings(rawPixelFormatType: kCVPixelFormatType_14Bayer_RGGB,
                                      processedFormat: [AVVideoCodecKey: AVVideoCodecType.jpeg])
settings.isHighResolutionPhotoEnabled = true
settings.embedsDepthDataInPhoto = false
settings.isAutoStillImageStabilizationEnabled = true

此设置将在一次拍摄中返回两个图像数据：

  • 一个 .dng 格式的 RAW 文件；
  • 一个压缩 .jpeg 文件（或 .heic，取决于 processedFormat 配置）。
步骤三：提取多通道输出图像数据

在 AVCapturePhotoCaptureDelegate 回调中区分处理 RAW 与 JPEG：

func photoOutput(_ output: AVCapturePhotoOutput,
                 didFinishProcessingPhoto photo: AVCapturePhoto,
                 error: Error?) {
    if photo.isRawPhoto {
        if let rawData = photo.fileDataRepresentation() {
            saveRawToDisk(data: rawData)
        }
    } else {
        if let jpegData = photo.fileDataRepresentation() {
            saveJPEGToDisk(data: jpegData)
        }
    }
}

这种方式的优势是：

  • 确保时间一致性：两种图像来自同一帧曝光；
  • 简化数据管理：可根据用途分别存储或上传；
  • 支持自动化图像质量评估与后处理。

此配置模式已在 Halide、Adobe Lightroom Mobile 等第三方影像类应用中广泛应用。

6. 多格式输出的缓冲与同步控制策略

在多格式并行输出场景中，系统需对图像缓存进行合理调度，防止缓冲区冲突、内存占用过高或时间戳错位。

缓冲区管理要点
  1. RAW 与 JPEG 走不同缓存路径：RAW 图像通过 Sensor 原始数据通道输出，JPEG 图像走 ISP 处理路径，不共享缓存；
  2. YUV 输出与 PhotoOutput 分离：YUV 数据通过 AVCaptureVideoDataOutput 实时输出，与 AVCapturePhotoOutput 的 JPEG/RAW 拍照流程互不干扰；
  3. 系统最大输出帧缓存限制：PhotoOutput 同时最多支持处理 3–5 次拍照任务，需等待上一次回调完成才可继续。
时间同步策略

多通道图像需保持时间戳一致性以确保逻辑正确：

  • AVCapturePhoto.timestamp 与 JPEG/RAW 内部的 EXIF 时间字段保持一致；
  • CMSampleBufferGetPresentationTimeStamp() 可用于 YUV 输出时间比对；
  • 在开发中推荐使用 mach_absolute_time() 作为统一参考时钟。
示例：多格式帧同步结构体定义

在实际项目中，可以统一定义图像帧结构用于同步管理：

struct MultiFormatFrame {
    let timestamp: CMTime
    let rawData: Data?
    let jpegData: Data?
    let yuvPixelBuffer: CVPixelBuffer?
}

每一次图像采集完成后，将对应数据封装至统一结构体，便于后续的模型推理、图像压缩或上传操作，避免异步数据错配。

通过细致设计缓冲管理与时间戳策略，可有效提高图像一致性与系统稳定性，支持高帧率、多任务场景下的多格式图像处理任务。

7. 性能瓶颈分析：高分辨率 RAW + 视频流并发下的优化建议

在 iPhone 14 Pro 及以上设备上，虽然系统允许同时执行 RAW 拍照和视频流输出，但由于图像处理链路、内存带宽和图像 ISP 的资源限制，多格式并发输出常常面临性能瓶颈。典型问题包括帧率下降、图像延迟、拍照失败等。

核心瓶颈来源分析

  1. Sensor 带宽限制
    RAW 拍照会从 CMOS 直接输出 12~14bit 的全分辨率数据，一旦启用 RAW，会占用大量 Sensor 带宽，可能导致视频预览帧率下降。

  2. 内存与 I/O 压力
    RAW 数据通常在 10–25MB/帧（视分辨率和像素位深而定），在高频率连续拍摄场景下，会导致系统内存压力增大、缓存堆积。

  3. AVCaptureSession 配置复杂度提升
    多个 Output 并发运行会增加底层图像路由复杂度，若未合理设定优先级和 Session Preset，容易出现丢帧或图像输出失败。

  4. 多线程数据处理瓶颈
    开发者层若未使用并发解码、异步保存机制，会因主线程阻塞造成图像处理延迟，严重时导致下一帧无法正常采集。

实战优化建议

  • 合理选择 AVCaptureSession.Preset
    避免过高的拍摄分辨率配置。例如使用 .photo 模式拍摄 RAW，但视频流采用 .medium 降低预览负载。

  • YUV 数据帧限频处理
    限制 AVCaptureVideoDataOutput 回调速率，例如设置 alwaysDiscardsLateVideoFrames = true 并在回调中主动丢帧（如每 3 帧处理 1 帧）。

  • 启用硬件编解码与 Metal 加速
    对 YUV → RGB 转换、JPEG 编码、预览图生成等操作使用 Metal 或 CoreImage 进行 GPU 加速，减少 CPU 占用。

  • 内存预申请与缓冲池控制
    自定义 CVPixelBufferPool 进行 YUV 缓冲池控制，避免频繁内存分配：

    CVPixelBufferPoolCreate(nil, nil, pixelBufferAttributes as CFDictionary, &pixelBufferPool)

  • 非主线程保存图像数据
    图像写入磁盘操作必须移出主线程，否则容易卡顿 UI 并引发帧丢失。

这些优化方案可协同使用，确保在高负载下仍能稳定输出 RAW、JPEG 和 YUV 数据流，特别适用于多任务并行采集的 AI 相机和计算摄影场景。

8. 工程落地建议：不同格式适用场景与接口组合推荐

针对不同业务场景与性能需求，开发者应根据实际情况选择合适的图像格式输出方案。以下为几种常见场景与推荐配置。

场景一：AI 实时分析（目标检测、人脸关键点）

  • 推荐格式：YUV（420）、低分辨率、快速采集；

  • 接口组合：

    • AVCaptureVideoDataOutput 获取连续 YUV；
    • 禁用 PhotoOutput 拍照，避免干扰帧率；

  • 优化建议：

    • 配合 CoreML/VNRequest 等本地推理框架；
    • 限帧率至 15FPS，保障处理稳定性。
场景二：高质量摄影 + 后期处理

  • 推荐格式：RAW + JPEG（或 HEIC）；

  • 接口组合：

    • AVCapturePhotoOutput 设置 rawPixelFormatType 与 processedFormat；
    • 配合 photoOutput(_:didFinishProcessingPhoto:) 回调保存原始图像；

  • 适用方向：

    • HDR 合成、色彩还原、曝光校正等后期处理；
    • 专业相机类 App、摄影辅助工具。
场景三：计算摄影 + AR 模型捕捉

  • 推荐格式：YUV + JPEG；

  • 接口组合：

    • 实时 YUV 数据通过 VideoDataOutput 提供深度估计输入；
    • JPEG 图像用于结果展示或压缩存储；

  • 优化建议：

    • 将 JPEG 图像延迟保存，避免主线程阻塞；
    • 使用 AVCaptureConnection.videoOrientation 同步图像方向。
场景四：多格式融合训练数据采集

  • 推荐格式：RAW + YUV + JPEG 三通道；

  • 接口组合：

    • 使用 AVCapturePhotoOutput 获取 RAW + JPEG；
    • 同时启用 VideoDataOutput 获取连续 YUV；

  • 注意事项：

    • 需使用统一时间戳进行后处理对齐；
    • 建议启用 GCD 多队列 + Frame 封装结构体管理所有图像帧及时间。

通过清晰的场景设计与接口选择，可实现更合理的图像管线构建，满足不同目标下的精度、性能与系统稳定性要求。这也为后续集成深度图、点云与 ISP 联动处理等更复杂功能打下基础。

本文转自 https://zhxin.blog.csdn.net/article/details/148675611，如有侵权，请联系删除。