實(shí)戰(zhàn)：AVFoundation曝光補(bǔ)償與實(shí)時(shí)亮度分析)
之前做 iOS 拍攝類功能時(shí)我一直在吐槽 iPhone 原生相機(jī)在逆光場(chǎng)景下的體驗(yàn)明明陽光很好取景器里卻黑成一片點(diǎn)一下亮處對(duì)焦整體畫面又過曝得厲害。后來在 Hacker News 上看到一個(gè)很有意思的項(xiàng)目叫 “Camera Sun”定位就是針對(duì) iPhone 相機(jī) App 的取景與曝光問題進(jìn)行改進(jìn)。這讓我意識(shí)到單純吐槽原生相機(jī)不夠用不如自己動(dòng)手在 AVFoundation 層面做一套自定義相機(jī)方案把取景亮度分析、曝光補(bǔ)償、手動(dòng)輔助控件這些能力補(bǔ)全。本文將圍繞這個(gè)思路完整拆解一個(gè)名為Camera Sun的 iOS 自定義相機(jī)項(xiàng)目。先從原生相機(jī)的問題場(chǎng)景入手再講清楚 AVFoundation 的采集架構(gòu)然后給出完整可運(yùn)行的 SwiftUI AVFoundation 案例代碼最后補(bǔ)充常見報(bào)錯(cuò)排查和工程化建議。無論你是 iOS 新手還是在做自定義相機(jī)、掃碼、AR 采集的開發(fā)者都可以從中找到可以復(fù)用的內(nèi)容。1. 背景iPhone 原生相機(jī)在逆光場(chǎng)景下為什么“不好用”1.1 原生相機(jī)的“自動(dòng)”與“不夠自動(dòng)”iPhone 自帶相機(jī) App 的拍攝體驗(yàn)在大多數(shù)日常場(chǎng)景下是非常優(yōu)秀的白平衡、自動(dòng)曝光、智能 HDR 都做得足夠好。但一旦進(jìn)入逆光、大光比、強(qiáng)太陽直射這類環(huán)境問題就很容易暴露出來取景器畫面偏暗主體輪廓不清晰。點(diǎn)擊暗部對(duì)焦亮部直接過曝。點(diǎn)擊亮部對(duì)焦暗部又死黑一片。自動(dòng)曝光系統(tǒng)始終在“你想拍什么”和“天空很亮”之間搖擺。這本質(zhì)上不是相機(jī)硬件不行而是原生相機(jī)的自動(dòng)曝光策略更偏向“整體畫面均衡”在生產(chǎn)級(jí)拍攝中我們經(jīng)常需要的是“對(duì)某個(gè)區(qū)域精準(zhǔn)曝光”甚至需要手動(dòng)干預(yù) EV 補(bǔ)償值。1.2 “Camera Sun”項(xiàng)目想解決的問題“Camera Sun”這個(gè)名字很直白——它面向的是“太陽”這種極端光源場(chǎng)景。項(xiàng)目的核心目標(biāo)是把取景器中的畫面亮度信息用更直觀的方式呈現(xiàn)出來。提供手動(dòng)曝光補(bǔ)償EV控制。在強(qiáng)光或者逆光環(huán)境下幫助用戶先看清畫面再按下快門。用自定義相機(jī)方案替代原生相機(jī)在某些場(chǎng)景下的不足。放到開發(fā)層面它背后的技術(shù)點(diǎn)其實(shí)就是幾個(gè)用 AVFoundation 自定義相機(jī)采集流程。實(shí)時(shí)獲取每一幀畫面的亮度數(shù)據(jù)。根據(jù)亮度分析結(jié)果調(diào)整曝光參數(shù)。在取景界面上疊加輔助控件比如亮度條、點(diǎn)測(cè)光框、EV 滑塊。本文的實(shí)戰(zhàn)項(xiàng)目會(huì)圍繞這四點(diǎn)展開做一個(gè)能用模擬器跑通、可以在真機(jī)上體驗(yàn)的 Mini 版本。2. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)2.1 開發(fā)環(huán)境說明本文示例以常見環(huán)境為例版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整項(xiàng)目說明操作系統(tǒng)macOS 12 及以上IDEXcode 14 及以上語言Swift 5.7UI 框架SwiftUI系統(tǒng)框架AVFoundation、CoreImage、UIKit最低部署版本iOS 15.0調(diào)試設(shè)備建議使用 iPhone 真機(jī)需要特別說明的是相機(jī)類功能在模擬器中會(huì)有很大限制尤其是采集會(huì)話、曝光參數(shù)調(diào)整、亮度回調(diào)這些能力模擬器只能模擬部分行為。所以本文的代碼在模擬器上可以運(yùn)行界面但完整功能建議在真機(jī)上驗(yàn)證。2.2 項(xiàng)目基礎(chǔ)結(jié)構(gòu)我們先在 Xcode 中創(chuàng)建一個(gè) SwiftUI App 項(xiàng)目工程名稱可以叫CameraSunDemo最終文件結(jié)構(gòu)如下CameraSunDemo/ ├── CameraSunDemoApp.swift ├── ContentView.swift ├── Models/ │ └── ExposureState.swift ├── Services/ │ └── CameraService.swift ├── Views/ │ ├── CameraPreviewView.swift │ ├── BrightnessIndicatorView.swift │ └── ExposureControlView.swift └── Info.plist后面所有代碼都會(huì)按照這個(gè)結(jié)構(gòu)給出文件路徑方便你對(duì)照創(chuàng)建。3. 核心原理AVFoundation 相機(jī)采集鏈路3.1 從 AVCaptureSession 說起在 iOS 中實(shí)現(xiàn)自定義相機(jī)核心類是AVCaptureSession。它就像一條“數(shù)據(jù)管道”把相機(jī)硬件采集到的數(shù)據(jù)經(jīng)過輸入、輸出兩個(gè)端口連接起來。相機(jī)硬件 ↓ AVCaptureDeviceInput輸入 ↓ AVCaptureSession會(huì)話 ↓ AVCaptureVideoDataOutput輸出回調(diào) ↓ CMSampleBuffer單幀數(shù)據(jù)與直接調(diào)用UIImagePickerController相比使用 AVFoundation 自定義采集可以獲得對(duì)每一幀畫面做實(shí)時(shí)處理的能力。手動(dòng)控制曝光、對(duì)焦、白平衡的權(quán)限。更自由的界面定制。更低的延遲。3.2 曝光補(bǔ)償 EV 是什么曝光補(bǔ)償用 EVExposure Value表示單位為 eV簡(jiǎn)單理解就是“在你測(cè)光結(jié)果的基礎(chǔ)上人為地讓畫面更亮或更暗一檔”。iPhone 相機(jī)的 AVFoundation 提供了非常直接的控制接口device.setExposureTargetBias(completionHandler:)AVCaptureDevice上的exposureTargetBias屬性可以設(shè)置當(dāng)前曝光補(bǔ)償值范圍通常在minExposureTargetBias到maxExposureTargetBias之間iPhone 一般支持-8.0到8.0實(shí)際會(huì)根據(jù)設(shè)備能力有所差異。3.3 實(shí)時(shí)亮度分析思路在自定義相機(jī)中要判斷當(dāng)前畫面是不是“太黑”或“太亮”最直接的方法是讀取每一幀畫面的平均亮度。常用的實(shí)現(xiàn)路徑是AVCaptureVideoDataOutput輸出CMSampleBuffer。將CMSampleBuffer轉(zhuǎn)成CVPixelBuffer。使用 CoreImage 的CIAreaAverage濾鏡計(jì)算平均顏色。將平均顏色的亮度值映射到 UI 上。具體代碼如下func brightness(from pixelBuffer: CVPixelBuffer) - Float? { let ciImage CIImage(cvPixelBuffer: pixelBuffer) let extent ciImage.extent let filter CIFilter(name: CIAreaAverage)! filter.setValue(ciImage, forKey: kCIInputImageKey) filter.setValue(CIVector(cgRect: extent), forKey: kCIInputExtentKey) guard let outputImage filter.outputImage else { return nil } var bitmap [UInt8](repeating: 0, count: 4) let context CIContext(options: [.workingColorSpace: NSNull()]) context.render(outputImage, toBitmap: bitmap, rowBytes: 4, bounds: CGRect(x: 0, y: 0, width: 1, height: 1), format: .RGBA8, colorSpace: nil) let r Float(bitmap[0]) / 255.0 let g Float(bitmap[1]) / 255.0 let b Float(bitmap[2]) / 255.0 // 使用 Rec.709 亮度權(quán)重 let brightness 0.2126 * r 0.7152 * g 0.0722 * b return brightness }這里使用CIAreaAverage的原因是它由 CoreImage 底層優(yōu)化性能比自己遍歷像素要好很多。需要注意的點(diǎn)是CIContext建議復(fù)用不要每幀創(chuàng)建。CIAreaAverage的運(yùn)行耗時(shí)取決于圖像大小實(shí)際項(xiàng)目建議先縮小圖像再計(jì)算。3.4 AVCaptureVideoDataOutput 的像素格式設(shè)置要讓上面的亮度計(jì)算代碼正常工作需要確保輸出像素格式是 BGRA 或者 RGBA。在創(chuàng)建AVCaptureVideoDataOutput時(shí)建議顯式設(shè)置videoOutput.videoSettings [ kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA ]如果你不設(shè)置系統(tǒng)默認(rèn)可能輸出 420f也就是kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange這時(shí)候直接轉(zhuǎn)CIImage再走CIAreaAverage也可以但輸出顏色通道需要額外處理不夠直觀。所以我們統(tǒng)一改成 BGRA方便調(diào)試。4. 完整實(shí)戰(zhàn)實(shí)現(xiàn) Camera Sun 的取景亮度分析與曝光控制下面我們進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。這一節(jié)會(huì)逐步完成一個(gè) Mini 版 Camera Sun功能包括啟動(dòng)自定義相機(jī)并顯示實(shí)時(shí)預(yù)覽。分析每一幀畫面的平均亮度。用一個(gè)可視化的亮度條展示當(dāng)前亮度狀態(tài)。通過滑塊手動(dòng)調(diào)節(jié)曝光補(bǔ)償 EV 值。點(diǎn)擊預(yù)覽畫面進(jìn)行點(diǎn)測(cè)光對(duì)焦。4.1 創(chuàng)建相機(jī)服務(wù)類先創(chuàng)建相機(jī)采集服務(wù)類CameraService它負(fù)責(zé)整個(gè) AVCaptureSession 的生命周期。文件路徑Services/CameraService.swiftimport AVFoundation import CoreImage import UIKit protocol CameraServiceDelegate: AnyObject { func cameraService(_ service: CameraService, didOutput brightness: Float) func cameraService(_ service: CameraService, didFail error: Error) } final class CameraService: NSObject { private let session AVCaptureSession() private let sessionQueue DispatchQueue(label: com.camerasun.sessionQueue) private let videoOutput AVCaptureVideoDataOutput() private let ciContext CIContext(options: [.workingColorSpace: NSNull()]) private var currentDevice: AVCaptureDevice? weak var delegate: CameraServiceDelegate? var previewLayer: AVCaptureVideoPreviewLayer { let layer AVCaptureVideoPreviewLayer(session: session) layer.videoGravity .resizeAspectFill return layer } override init() { super.init() videoOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: com.camerasun.videoQueue)) videoOutput.alwaysDiscardsLateVideoFrames true videoOutput.videoSettings [ kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA ] } func start() { sessionQueue.async { [weak self] in self?.configureSession() self?.session.startRunning() } } func stop() { sessionQueue.async { [weak self] in self?.session.stopRunning() } } private func configureSession() { session.beginConfiguration() session.sessionPreset .high guard let device AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .back) else { delegate?.cameraService(self, didFail: CameraError.deviceNotFound) return } currentDevice device do { let input try AVCaptureDeviceInput(device: device) if session.canAddInput(input) { session.addInput(input) } } catch { delegate?.cameraService(self, didFail: error) return } if session.canAddOutput(videoOutput) { session.addOutput(videoOutput) } session.commitConfiguration() } func setExposureBias(_ value: Float) { guard let device currentDevice else { return } do { try device.lockForConfiguration() let clampedValue max(device.minExposureTargetBias, min(device.maxExposureTargetBias, value)) device.setExposureTargetBias(clampedValue) { _ in } device.unlockForConfiguration() } catch { print(鎖定設(shè)備配置失敗: \(error)) } } func focusAtPoint(_ point: CGPoint, in previewLayer: AVCaptureVideoPreviewLayer) { guard let device currentDevice else { return } let pointOfInterest previewLayer.captureDevicePointConverted(fromLayerPoint: point) do { try device.lockForConfiguration() if device.isFocusPointOfInterestSupported { device.focusPointOfInterest pointOfInterest device.focusMode .autoFocus } if device.isExposurePointOfInterestSupported { device.exposurePointOfInterest pointOfInterest device.exposureMode .autoExpose } device.unlockForConfiguration() } catch { print(設(shè)置對(duì)焦失敗: \(error)) } } } extension CameraService: AVCaptureVideoDataOutputSampleBufferDelegate { func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { guard let pixelBuffer CMSampleBufferGetImageBuffer(sampleBuffer) else { return } if let brightness brightness(from: pixelBuffer) { DispatchQueue.main.async { [weak self] in self?.delegate?.cameraService(self!, didOutput: brightness) } } } private func brightness(from pixelBuffer: CVPixelBuffer) - Float? { let ciImage CIImage(cvPixelBuffer: pixelBuffer) let extent ciImage.extent let filter CIFilter(name: CIAreaAverage)! filter.setValue(ciImage, forKey: kCIInputImageKey) filter.setValue(CIVector(cgRect: extent), forKey: kCIInputExtentKey) guard let outputImage filter.outputImage else { return nil } var bitmap [UInt8](repeating: 0, count: 4) ciContext.render(outputImage, toBitmap: bitmap, rowBytes: 4, bounds: CGRect(x: 0, y: 0, width: 1, height: 1), format: .RGBA8, colorSpace: nil) let r Float(bitmap[0]) / 255.0 let g Float(bitmap[1]) / 255.0 let b Float(bitmap[2]) / 255.0 return 0.2126 * r 0.7152 * g 0.0722 * b } } enum CameraError: LocalizedError { case deviceNotFound var errorDescription: String? { switch self { case .deviceNotFound: return 未找到可用的相機(jī)設(shè)備 } } }代碼說明使用sessionQueue串行隊(duì)列執(zhí)行會(huì)話配置和啟停操作避免主線程阻塞。videoOutput.alwaysDiscardsLateVideoFrames true表示幀數(shù)據(jù)堆積時(shí)丟棄舊幀保證亮度回調(diào)的實(shí)時(shí)性。亮度計(jì)算使用 Rec.709 權(quán)重更接近人類對(duì)亮度的感知。setExposureBias方法會(huì)先做min/max范圍約束防止傳入非法值導(dǎo)致崩潰。4.2 創(chuàng)建預(yù)覽視圖在 SwiftUI 中接入AVCaptureVideoPreviewLayer最通用的方式是使用UIViewRepresentable包裝一個(gè)UIView。文件路徑Views/CameraPreviewView.swiftimport SwiftUI import AVFoundation struct CameraPreviewView: UIViewRepresentable { let previewLayer: AVCaptureVideoPreviewLayer func makeUIView(context: Context) - UIView { let view UIView() view.backgroundColor .black previewLayer.frame view.bounds view.layer.addSublayer(previewLayer) return view } func updateUIView(_ uiView: UIView, context: Context) { DispatchQueue.main.async { previewLayer.frame uiView.bounds } } }這里有一個(gè)容易忽略的細(xì)節(jié)makeUIView執(zhí)行時(shí)UIView的 bounds 可能還不是最終尺寸所以需要在updateUIView中持續(xù)更新previewLayer.frame否則預(yù)覽畫面可能顯示不全。4.3 創(chuàng)建亮度指示器亮度指示器是 Camera Sun 項(xiàng)目最有辨識(shí)度的 UI 之一。它用一條橫向的漸變條展示當(dāng)前畫面的平均亮度用戶一眼就能看出“現(xiàn)在畫面是偏暗還是偏亮”。文件路徑Views/BrightnessIndicatorView.swiftimport SwiftUI struct BrightnessIndicatorView: View { let brightness: Float let targetBrightness: Float private var normalizedValue: CGFloat { CGFloat(max(0, min(1, brightness))) } var body: some View { GeometryReader { geometry in ZStack(alignment: .leading) { Capsule() .fill(Color.black.opacity(0.6)) .overlay( Capsule() .stroke(Color.white.opacity(0.3), lineWidth: 1) ) // 亮度漸變條 Capsule() .fill( LinearGradient( colors: [.black, .gray, .white], startPoint: .leading, endPoint: .trailing ) ) .frame(width: geometry.size.width * normalizedValue) // 目標(biāo)亮度指示線 Rectangle() .fill(Color.yellow) .frame(width: 2) .offset(x: geometry.size.width * CGFloat(targetBrightness) - 1) } } .frame(height: 8) } } struct BrightnessIndicatorView_Previews: PreviewProvider { static var previews: some View { BrightnessIndicatorView(brightness: 0.5, targetBrightness: 0.6) .padding() } }這里的targetBrightness可以理解為我們“期望的畫面亮度”比如 0.5 代表中等亮度。當(dāng)指示條超過目標(biāo)線時(shí)畫面偏亮低于目標(biāo)線時(shí)畫面偏暗。4.4 創(chuàng)建曝光控制滑塊曝光補(bǔ)償是 Camera Sun 的核心交互這里用 SwiftUI 的Slider綁定 EV 值。文件路徑Views/ExposureControlView.swiftimport SwiftUI struct ExposureControlView: View { Binding var exposureValue: Double let range: ClosedRangeDouble var body: some View { VStack(spacing: 8) { HStack { Text(EV) .font(.caption) .foregroundColor(.white) Slider(value: $exposureValue, in: range, step: 0.1) .tint(.yellow) Text(String(format: %.1f, exposureValue)) .font(.caption.monospacedDigit()) .foregroundColor(.white) .frame(width: 50, alignment: .trailing) } HStack { Text(暗) .font(.caption2) .foregroundColor(.white.opacity(0.6)) Spacer() Text(亮) .font(.caption2) .foregroundColor(.white.opacity(0.6)) } } .padding(.horizontal, 16) .padding(.vertical, 12) .background(Color.black.opacity(0.5)) .clipShape(RoundedRectangle(cornerRadius: 12)) .padding(.horizontal, 20) } }4.5 組裝主界面現(xiàn)在把相機(jī)預(yù)覽、亮度指示器、曝光控制整合到一個(gè)界面中。文件路徑Views/ContentView.swiftimport SwiftUI import AVFoundation struct ContentView: View { StateObject private var viewModel CameraViewModel() var body: some View { ZStack { Color.black.ignoresSafeArea() if let previewLayer viewModel.previewLayer { CameraPreviewView(previewLayer: previewLayer) .ignoresSafeArea() } else { ProgressView(相機(jī)初始化中...) .foregroundColor(.white) } VStack { Spacer() // 亮度狀態(tài)卡片 VStack(alignment: .leading, spacing: 8) { HStack { Image(systemName: sun.max.fill) .foregroundColor(.yellow) Text(亮度分析) .font(.headline) .foregroundColor(.white) Spacer() Text(String(format: %.2f, viewModel.currentBrightness)) .font(.system(.body, design: .monospaced)) .foregroundColor(.white) } BrightnessIndicatorView( brightness: viewModel.currentBrightness, targetBrightness: viewModel.targetBrightness ) Text(viewModel.brightnessDescription) .font(.caption) .foregroundColor(.white.opacity(0.8)) } .padding(16) .background(Color.black.opacity(0.5)) .clipShape(RoundedRectangle(cornerRadius: 16)) .padding(.horizontal, 20) ExposureControlView( exposureValue: $viewModel.exposureValue, range: viewModel.exposureRange ) } } .onAppear { viewModel.start() } .onDisappear { viewModel.stop() } .gesture( DragGesture(minimumDistance: 0) .onEnded { value in viewModel.focusAtPoint(value.location) } ) } } final class CameraViewModel: ObservableObject { Published var previewLayer: AVCaptureVideoPreviewLayer? Published var currentBrightness: Float 0 Published var exposureValue: Double 0 Published var targetBrightness: Float 0.55 Published var exposureRange: ClosedRangeDouble -8.0...8.0 Published var brightnessDescription: String 等待數(shù)據(jù)... private let cameraService CameraService() private var isUpdatingExposure false init() { cameraService.delegate self preparePreviewLayer() } private func preparePreviewLayer() { // 這里延遲獲取 previewLayer確保 session 已經(jīng)初始化 DispatchQueue.main.async { [weak self] in guard let self self else { return } self.previewLayer self.cameraService.previewLayer } } func start() { cameraService.start() } func stop() { cameraService.stop() } func focusAtPoint(_ point: CGPoint) { guard let previewLayer previewLayer else { return } cameraService.focusAtPoint(point, in: previewLayer) } } extension CameraViewModel: CameraServiceDelegate { func cameraService(_ service: CameraService, didOutput brightness: Float) { DispatchQueue.main.async { self.currentBrightness brightness switch brightness { case ..0.2: self.brightnessDescription 畫面過暗建議增加曝光補(bǔ)償 case 0.2..0.4: self.brightnessDescription 畫面偏暗可適當(dāng)增加曝光 case 0.4..0.7: self.brightnessDescription 亮度正常無需調(diào)整 case 0.7..0.9: self.brightnessDescription 畫面偏亮可適當(dāng)降低曝光 default: self.brightnessDescription 畫面過亮建議降低曝光補(bǔ)償 } // 如果有手動(dòng)曝光調(diào)整不自動(dòng)干預(yù) if abs(self.exposureValue) 0.05 { self.autoAdjustExposureIfNeeded(brightness: brightness) } } } func cameraService(_ service: CameraService, didFail error: Error) { DispatchQueue.main.async { self.brightnessDescription 相機(jī)錯(cuò)誤: \(error.localizedDescription) } } private func autoAdjustExposureIfNeeded(brightness: Float) { guard !isUpdatingExposure else { return } isUpdatingExposure true defer { isUpdatingExposure false } let diff targetBrightness - brightness // 只有偏差超過閾值才調(diào)整避免頻繁抖動(dòng) if abs(diff) 0.1 { let adjustment Double(diff * 2) let newValue max(-8, min(8, exposureValue adjustment)) cameraService.setExposureBias(Float(newValue)) DispatchQueue.main.async { self.exposureValue newValue } } } }代碼說明CameraViewModel作為中間層負(fù)責(zé)把CameraService的代理回調(diào)轉(zhuǎn)成 SwiftUI 可觀察的Published屬性。exposureValue被用戶手動(dòng)拖動(dòng)后自動(dòng)曝光調(diào)整會(huì)暫停避免“用戶想調(diào)系統(tǒng)又拉回來”的沖突。亮度描述文本使用區(qū)間判斷提示用戶當(dāng)前畫面狀態(tài)。4.6 配置權(quán)限在Info.plist中加入相機(jī)權(quán)限描述keyNSCameraUsageDescription/key stringCamera Sun 需要使用相機(jī)來分析和調(diào)整拍攝畫面/string不加這一條應(yīng)用啟動(dòng)相機(jī)采集時(shí)會(huì)直接崩潰。4.7 運(yùn)行驗(yàn)證將上述代碼編譯運(yùn)行到 iPhone 真機(jī)上預(yù)期效果如下啟動(dòng) App 后進(jìn)入自定義相機(jī)預(yù)覽頁面。預(yù)覽畫面顯示實(shí)時(shí)取景。頂部亮度指示條根據(jù)畫面亮度實(shí)時(shí)變化。手動(dòng)拖動(dòng) EV 滑塊后畫面亮度發(fā)生明顯變化。手指點(diǎn)擊預(yù)覽畫面任意位置相機(jī)自動(dòng)對(duì)焦并重新測(cè)光。在模擬器上運(yùn)行時(shí)預(yù)覽畫面可能是黑屏或者顯示模擬器桌面這是因?yàn)槟M器沒有真實(shí)相機(jī)采集能力。建議盡早使用真機(jī)調(diào)試。5. 常見問題與排查思路5.1 相機(jī)權(quán)限彈窗沒有彈出問題現(xiàn)象常見原因解決思路啟動(dòng)后直接崩潰Info.plist 缺少相機(jī)權(quán)限描述檢查NSCameraUsageDescription權(quán)限彈窗彈出后點(diǎn)擊允許仍然黑屏用戶之前選擇了“不允許”需要在系統(tǒng)設(shè)置中開啟提示用戶前往系統(tǒng)設(shè)置開啟權(quán)限模擬器上沒有彈窗模擬器不支持真實(shí)相機(jī)使用真機(jī)調(diào)試5.2 預(yù)覽畫面黑屏問題現(xiàn)象常見原因解決思路預(yù)覽全黑但相機(jī)權(quán)限已開啟AVCaptureVideoPreviewLayer沒有正確添加到視圖層級(jí)檢查previewLayer.frame是否更新預(yù)覽區(qū)域黑屏但亮度數(shù)據(jù)有回調(diào)previewLayer被釋放使用強(qiáng)引用保存 previewLayer從后臺(tái)返回后黑屏未在viewWillAppear重新啟動(dòng) session在scenePhase變化時(shí)重新startRunning()5.3 亮度數(shù)據(jù)不刷新如果cameraService(_:didOutput:)一直不回調(diào)優(yōu)先檢查AVCaptureVideoDataOutput是否成功添加到 sessionif session.canAddOutput(videoOutput) { session.addOutput(videoOutput) } else { print(無法添加 videoDataOutput) }另外AVCaptureVideoDataOutput需要強(qiáng)引用不要聲明為局部變量。5.4 EV 滑塊拖動(dòng)后畫面沒有變化可能原因當(dāng)前設(shè)備isExposureTargetBiasSupported為false。設(shè)備沒有成功lockForConfiguration()。EV 值沒有落在minExposureTargetBias...maxExposureTargetBias范圍內(nèi)。排查代碼print(曝光補(bǔ)償范圍: \(device.minExposureTargetBias) ~ \(device.maxExposureTargetBias)) print(是否支持曝光補(bǔ)償: \(device.isExposureTargetBiasSupported))5.5 性能問題掉幀和發(fā)熱每幀都執(zhí)行CIAreaAverage在真機(jī)上通常不會(huì)有太大壓力但如果你的項(xiàng)目比較復(fù)雜可以考慮以下優(yōu)化方式降低采樣幀率比如每 3 幀計(jì)算一次亮度?？s小計(jì)算區(qū)域使用CIImage的cropped(to:)只分析畫面中心區(qū)域。降低視頻輸出分辨率使用session.sessionPreset .medium。避免在主線程做任何 CoreImage 操作。降低采樣幀率的示例private var frameCount 0 func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { frameCount 1 guard frameCount % 3 0 else { return } // 亮度計(jì)算 }6. 最佳實(shí)踐與工程建議6.1 曝光控制的策略選擇Camera Sun 項(xiàng)目里我把曝光控制做成了兩種模式混合用戶不干預(yù)時(shí)系統(tǒng)根據(jù)亮度信息自動(dòng)調(diào)整 EV。用戶手動(dòng)調(diào)整后以用戶設(shè)置為準(zhǔn)。這種設(shè)計(jì)的核心思路是不跟用戶搶控制權(quán)。原生相機(jī)之所以在一些場(chǎng)景下給人“不聽話”的感覺恰恰是因?yàn)樽詣?dòng)策略太強(qiáng)勢(shì)。在自定義相機(jī)中我們應(yīng)該把自動(dòng)策略看成“默認(rèn)值”而不是“唯一值”。在實(shí)際業(yè)務(wù)中還可以增加一個(gè)“自動(dòng)/手動(dòng)”切換開關(guān)讓用戶明確知道當(dāng)前處于哪種模式。6.2 亮度分析的通用性CIAreaAverage計(jì)算的是全畫面平均亮度但在很多場(chǎng)景下它并不準(zhǔn)確。例如畫面左邊是太陽右邊是陰影平均亮度可能正好落在 0.5。但用戶真正想拍的主體在陰影里需要的是“陰影區(qū)域”的亮度數(shù)據(jù)。更合理的方式是引入?yún)^(qū)域權(quán)重// 只分析畫面中心 60% 區(qū)域的亮度 let centerRect CGRect(x: extent.width * 0.2, y: extent.height * 0.2, width: extent.width * 0.6, height: extent.height * 0.6) let centerImage ciImage.cropped(to: centerRect)這樣在逆光場(chǎng)景下自動(dòng)曝光會(huì)更偏向畫面中心的主體。6.3 設(shè)備配置的邊界檢查AVFoundation 的 API 在不同 iOS 版本、不同設(shè)備上有很大差異。比如某些設(shè)備支持builtInDualCamera某些只有builtInWideAngleCamera。不同設(shè)備的minExposureTargetBias和maxExposureTargetBias范圍不同。某些設(shè)備支持autoFocusRangeRestriction某些不支持。所以在做設(shè)備配置時(shí)一定要先查詢能力再設(shè)置屬性if device.isExposurePointOfInterestSupported { device.exposurePointOfInterest point }6.4 線程模型的必要性在CameraService中我使用了三個(gè)隊(duì)列sessionQueue配置會(huì)話、啟停相機(jī)。videoQueue接收視頻幀回調(diào)。主隊(duì)列更新 UI。原因是相機(jī)配置操作耗時(shí)且阻塞不能放在主線程。視頻幀回調(diào)頻率高如果直接在里面更新 UI會(huì)導(dǎo)致卡頓。AVFoundation 的 delegate 回調(diào)不一定在主線程需要手動(dòng)切回主隊(duì)列更新 UI。6.5 內(nèi)存管理與生命周期在視頻幀回調(diào)中CMSampleBuffer和CVPixelBuffer是高頻創(chuàng)建的對(duì)象如果持有引用時(shí)間過長(zhǎng)內(nèi)存會(huì)快速增長(zhǎng)。建議亮度計(jì)算完成后不要保留CIImage或CVPixelBuffer的強(qiáng)引用。使用autoreleasepool包裹每幀處理邏輯。在 App 進(jìn)入后臺(tái)時(shí)調(diào)用stop()回到前臺(tái)再start()。示例func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { autoreleasepool { // 幀處理邏輯 } }6.6 權(quán)限處理的工程化真實(shí)項(xiàng)目中相機(jī)權(quán)限不應(yīng)該只在啟動(dòng)時(shí)請(qǐng)求一次。更合理的方式是啟動(dòng)時(shí)檢查授權(quán)狀態(tài)。如果被拒絕在 UI 上展示引導(dǎo)頁面。引導(dǎo)用戶去系統(tǒng)設(shè)置中開啟。從后臺(tái)返回時(shí)重新檢查授權(quán)狀態(tài)。switch AVCaptureDevice.authorizationStatus(for: .video) { case .authorized: // 已有權(quán)限直接啟動(dòng) case .notDetermined: // 請(qǐng)求權(quán)限 AVCaptureDevice.requestAccess(for: .video) { granted in // 處理結(jié)果 } case .denied: // 提示用戶去設(shè)置開啟 case .restricted: // 家長(zhǎng)控制等情況 break }6.7 日志與調(diào)試建議相機(jī)模塊涉及硬件交互真機(jī)問題往往只能在特定設(shè)備上復(fù)現(xiàn)。建議在關(guān)鍵路徑輸出日志// 設(shè)備信息 print(設(shè)備: \(device.localizedName)) print(曝光范圍: \(device.minExposureTargetBias) ~ \(device.maxExposureTargetBias)) print(當(dāng)前曝光: \(device.exposureTargetBias)) // 會(huì)話狀態(tài) print(session.isRunning: \(session.isRunning))在調(diào)試階段打開 AVFoundation 的日志會(huì)有大量輸出如果不好定位問題可以先加一個(gè)全局日志開關(guān)#if DEBUG let isDebugLogEnabled true #else let isDebugLogEnabled false #endif7. 總結(jié)與下一步方向Camera Sun 這個(gè)項(xiàng)目最核心的價(jià)值不是把原生相機(jī)的所有功能重寫一遍而是提供一種思路——在系統(tǒng)相機(jī)覆蓋不到的場(chǎng)景里用 AVFoundation 構(gòu)建更符合特定需求的拍攝工具。本文的示例已經(jīng)覆蓋了自定義相機(jī)采集、實(shí)時(shí)亮度分析、曝光補(bǔ)償調(diào)節(jié)、點(diǎn)測(cè)光對(duì)焦這些關(guān)鍵能力。你在自己的項(xiàng)目里可以直接復(fù)用CameraService和CameraViewModel的代碼結(jié)構(gòu)再根據(jù)需要擴(kuò)展。如果想在這個(gè)基礎(chǔ)上繼續(xù)深入以下幾件事值得優(yōu)先研究第一更精細(xì)的測(cè)光策略。目前的CIAreaAverage是全畫面平均亮度在復(fù)雜光線場(chǎng)景下不夠準(zhǔn)確?？梢詫W(xué)習(xí)一下中心重點(diǎn)測(cè)光和點(diǎn)測(cè)光的算法思路并結(jié)合人臉檢測(cè)、主體識(shí)別來動(dòng)態(tài)選擇測(cè)光區(qū)域。第二手動(dòng)對(duì)焦與變焦控制。AVFoundation 提供了videoZoomFactor、focusMode、lensPosition等接口可以進(jìn)一步做成專業(yè)相機(jī)應(yīng)用那樣的手動(dòng)模式。第三RAW 格式與照片處理。如果要走專業(yè)方向需要學(xué)習(xí)AVCapturePhotoOutput的 RAW 輸出能力以及如何在拍攝后做 TONE MAPPING。第四視頻拍攝中的實(shí)時(shí)曝光調(diào)整。如果項(xiàng)目需要支持視頻錄制還要考慮曝光調(diào)整過程中畫面的平滑過渡避免錄制過程中亮度突變。相機(jī)類 App 的開發(fā)門檻不在“能不能調(diào)起相機(jī)”而在“能不能把畫面效果調(diào)到用戶滿意”。希望這篇教程能幫你邁過第一道坎后續(xù)的優(yōu)化空間還很大。如果你在真機(jī)調(diào)試中遇到其他問題歡迎在評(píng)論區(qū)交流討論。把代碼跑起來然后試著在夕陽場(chǎng)景下拍一組對(duì)比照片你會(huì)發(fā)現(xiàn)——原來 iPhone 的自定義相機(jī)比系統(tǒng)相機(jī)的可玩性高得多。 iOS自定義相機(jī)實(shí)戰(zhàn)：AVFoundation曝光補(bǔ)償與實(shí)時(shí)亮度分析
之前做 iOS 拍攝類功能時(shí)我一直在吐槽 iPhone 原生相機(jī)在逆光場(chǎng)景下的體驗(yàn)明明陽光很好取景器里卻黑成一片點(diǎn)一下亮處對(duì)焦整體畫面又過曝得厲害。后來在 Hacker News 上看到一個(gè)很有意思的項(xiàng)目叫 “Camera Sun”定位就是針對(duì) iPhone 相機(jī) App 的取景與曝光問題進(jìn)行改進(jìn)。這讓我意識(shí)到單純吐槽原生相機(jī)不夠用不如自己動(dòng)手在 AVFoundation 層面做一套自定義相機(jī)方案把取景亮度分析、曝光補(bǔ)償、手動(dòng)輔助控件這些能力補(bǔ)全。本文將圍繞這個(gè)思路完整拆解一個(gè)名為Camera Sun的 iOS 自定義相機(jī)項(xiàng)目。先從原生相機(jī)的問題場(chǎng)景入手再講清楚 AVFoundation 的采集架構(gòu)然后給出完整可運(yùn)行的 SwiftUI AVFoundation 案例代碼最后補(bǔ)充常見報(bào)錯(cuò)排查和工程化建議。無論你是 iOS 新手還是在做自定義相機(jī)、掃碼、AR 采集的開發(fā)者都可以從中找到可以復(fù)用的內(nèi)容。1. 背景iPhone 原生相機(jī)在逆光場(chǎng)景下為什么“不好用”1.1 原生相機(jī)的“自動(dòng)”與“不夠自動(dòng)”iPhone 自帶相機(jī) App 的拍攝體驗(yàn)在大多數(shù)日常場(chǎng)景下是非常優(yōu)秀的白平衡、自動(dòng)曝光、智能 HDR 都做得足夠好。但一旦進(jìn)入逆光、大光比、強(qiáng)太陽直射這類環(huán)境問題就很容易暴露出來取景器畫面偏暗主體輪廓不清晰。點(diǎn)擊暗部對(duì)焦亮部直接過曝。點(diǎn)擊亮部對(duì)焦暗部又死黑一片。自動(dòng)曝光系統(tǒng)始終在“你想拍什么”和“天空很亮”之間搖擺。這本質(zhì)上不是相機(jī)硬件不行而是原生相機(jī)的自動(dòng)曝光策略更偏向“整體畫面均衡”在生產(chǎn)級(jí)拍攝中我們經(jīng)常需要的是“對(duì)某個(gè)區(qū)域精準(zhǔn)曝光”甚至需要手動(dòng)干預(yù) EV 補(bǔ)償值。1.2 “Camera Sun”項(xiàng)目想解決的問題“Camera Sun”這個(gè)名字很直白——它面向的是“太陽”這種極端光源場(chǎng)景。項(xiàng)目的核心目標(biāo)是把取景器中的畫面亮度信息用更直觀的方式呈現(xiàn)出來。提供手動(dòng)曝光補(bǔ)償EV控制。在強(qiáng)光或者逆光環(huán)境下幫助用戶先看清畫面再按下快門。用自定義相機(jī)方案替代原生相機(jī)在某些場(chǎng)景下的不足。放到開發(fā)層面它背后的技術(shù)點(diǎn)其實(shí)就是幾個(gè)用 AVFoundation 自定義相機(jī)采集流程。實(shí)時(shí)獲取每一幀畫面的亮度數(shù)據(jù)。根據(jù)亮度分析結(jié)果調(diào)整曝光參數(shù)。在取景界面上疊加輔助控件比如亮度條、點(diǎn)測(cè)光框、EV 滑塊。本文的實(shí)戰(zhàn)項(xiàng)目會(huì)圍繞這四點(diǎn)展開做一個(gè)能用模擬器跑通、可以在真機(jī)上體驗(yàn)的 Mini 版本。2. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)2.1 開發(fā)環(huán)境說明本文示例以常見環(huán)境為例版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整項(xiàng)目說明操作系統(tǒng)macOS 12 及以上IDEXcode 14 及以上語言Swift 5.7UI 框架SwiftUI系統(tǒng)框架AVFoundation、CoreImage、UIKit最低部署版本iOS 15.0調(diào)試設(shè)備建議使用 iPhone 真機(jī)需要特別說明的是相機(jī)類功能在模擬器中會(huì)有很大限制尤其是采集會(huì)話、曝光參數(shù)調(diào)整、亮度回調(diào)這些能力模擬器只能模擬部分行為。所以本文的代碼在模擬器上可以運(yùn)行界面但完整功能建議在真機(jī)上驗(yàn)證。2.2 項(xiàng)目基礎(chǔ)結(jié)構(gòu)我們先在 Xcode 中創(chuàng)建一個(gè) SwiftUI App 項(xiàng)目工程名稱可以叫CameraSunDemo最終文件結(jié)構(gòu)如下CameraSunDemo/ ├── CameraSunDemoApp.swift ├── ContentView.swift ├── Models/ │ └── ExposureState.swift ├── Services/ │ └── CameraService.swift ├── Views/ │ ├── CameraPreviewView.swift │ ├── BrightnessIndicatorView.swift │ └── ExposureControlView.swift └── Info.plist后面所有代碼都會(huì)按照這個(gè)結(jié)構(gòu)給出文件路徑方便你對(duì)照創(chuàng)建。3. 核心原理AVFoundation 相機(jī)采集鏈路3.1 從 AVCaptureSession 說起在 iOS 中實(shí)現(xiàn)自定義相機(jī)核心類是AVCaptureSession。它就像一條“數(shù)據(jù)管道”把相機(jī)硬件采集到的數(shù)據(jù)經(jīng)過輸入、輸出兩個(gè)端口連接起來。相機(jī)硬件 ↓ AVCaptureDeviceInput輸入 ↓ AVCaptureSession會(huì)話 ↓ AVCaptureVideoDataOutput輸出回調(diào) ↓ CMSampleBuffer單幀數(shù)據(jù)與直接調(diào)用UIImagePickerController相比使用 AVFoundation 自定義采集可以獲得對(duì)每一幀畫面做實(shí)時(shí)處理的能力。手動(dòng)控制曝光、對(duì)焦、白平衡的權(quán)限。更自由的界面定制。更低的延遲。3.2 曝光補(bǔ)償 EV 是什么曝光補(bǔ)償用 EVExposure Value表示單位為 eV簡(jiǎn)單理解就是“在你測(cè)光結(jié)果的基礎(chǔ)上人為地讓畫面更亮或更暗一檔”。iPhone 相機(jī)的 AVFoundation 提供了非常直接的控制接口device.setExposureTargetBias(completionHandler:)AVCaptureDevice上的exposureTargetBias屬性可以設(shè)置當(dāng)前曝光補(bǔ)償值范圍通常在minExposureTargetBias到maxExposureTargetBias之間iPhone 一般支持-8.0到8.0實(shí)際會(huì)根據(jù)設(shè)備能力有所差異。3.3 實(shí)時(shí)亮度分析思路在自定義相機(jī)中要判斷當(dāng)前畫面是不是“太黑”或“太亮”最直接的方法是讀取每一幀畫面的平均亮度。常用的實(shí)現(xiàn)路徑是AVCaptureVideoDataOutput輸出CMSampleBuffer。將CMSampleBuffer轉(zhuǎn)成CVPixelBuffer。使用 CoreImage 的CIAreaAverage濾鏡計(jì)算平均顏色。將平均顏色的亮度值映射到 UI 上。具體代碼如下func brightness(from pixelBuffer: CVPixelBuffer) - Float? { let ciImage CIImage(cvPixelBuffer: pixelBuffer) let extent ciImage.extent let filter CIFilter(name: CIAreaAverage)! filter.setValue(ciImage, forKey: kCIInputImageKey) filter.setValue(CIVector(cgRect: extent), forKey: kCIInputExtentKey) guard let outputImage filter.outputImage else { return nil } var bitmap [UInt8](repeating: 0, count: 4) let context CIContext(options: [.workingColorSpace: NSNull()]) context.render(outputImage, toBitmap: bitmap, rowBytes: 4, bounds: CGRect(x: 0, y: 0, width: 1, height: 1), format: .RGBA8, colorSpace: nil) let r Float(bitmap[0]) / 255.0 let g Float(bitmap[1]) / 255.0 let b Float(bitmap[2]) / 255.0 // 使用 Rec.709 亮度權(quán)重 let brightness 0.2126 * r 0.7152 * g 0.0722 * b return brightness }這里使用CIAreaAverage的原因是它由 CoreImage 底層優(yōu)化性能比自己遍歷像素要好很多。需要注意的點(diǎn)是CIContext建議復(fù)用不要每幀創(chuàng)建。CIAreaAverage的運(yùn)行耗時(shí)取決于圖像大小實(shí)際項(xiàng)目建議先縮小圖像再計(jì)算。3.4 AVCaptureVideoDataOutput 的像素格式設(shè)置要讓上面的亮度計(jì)算代碼正常工作需要確保輸出像素格式是 BGRA 或者 RGBA。在創(chuàng)建AVCaptureVideoDataOutput時(shí)建議顯式設(shè)置videoOutput.videoSettings [ kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA ]如果你不設(shè)置系統(tǒng)默認(rèn)可能輸出 420f也就是kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange這時(shí)候直接轉(zhuǎn)CIImage再走CIAreaAverage也可以但輸出顏色通道需要額外處理不夠直觀。所以我們統(tǒng)一改成 BGRA方便調(diào)試。4. 完整實(shí)戰(zhàn)實(shí)現(xiàn) Camera Sun 的取景亮度分析與曝光控制下面我們進(jìn)入核心實(shí)戰(zhàn)環(huán)節(jié)。這一節(jié)會(huì)逐步完成一個(gè) Mini 版 Camera Sun功能包括啟動(dòng)自定義相機(jī)并顯示實(shí)時(shí)預(yù)覽。分析每一幀畫面的平均亮度。用一個(gè)可視化的亮度條展示當(dāng)前亮度狀態(tài)。通過滑塊手動(dòng)調(diào)節(jié)曝光補(bǔ)償 EV 值。點(diǎn)擊預(yù)覽畫面進(jìn)行點(diǎn)測(cè)光對(duì)焦。4.1 創(chuàng)建相機(jī)服務(wù)類先創(chuàng)建相機(jī)采集服務(wù)類CameraService它負(fù)責(zé)整個(gè) AVCaptureSession 的生命周期。文件路徑Services/CameraService.swiftimport AVFoundation import CoreImage import UIKit protocol CameraServiceDelegate: AnyObject { func cameraService(_ service: CameraService, didOutput brightness: Float) func cameraService(_ service: CameraService, didFail error: Error) } final class CameraService: NSObject { private let session AVCaptureSession() private let sessionQueue DispatchQueue(label: com.camerasun.sessionQueue) private let videoOutput AVCaptureVideoDataOutput() private let ciContext CIContext(options: [.workingColorSpace: NSNull()]) private var currentDevice: AVCaptureDevice? weak var delegate: CameraServiceDelegate? var previewLayer: AVCaptureVideoPreviewLayer { let layer AVCaptureVideoPreviewLayer(session: session) layer.videoGravity .resizeAspectFill return layer } override init() { super.init() videoOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: com.camerasun.videoQueue)) videoOutput.alwaysDiscardsLateVideoFrames true videoOutput.videoSettings [ kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA ] } func start() { sessionQueue.async { [weak self] in self?.configureSession() self?.session.startRunning() } } func stop() { sessionQueue.async { [weak self] in self?.session.stopRunning() } } private func configureSession() { session.beginConfiguration() session.sessionPreset .high guard let device AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .back) else { delegate?.cameraService(self, didFail: CameraError.deviceNotFound) return } currentDevice device do { let input try AVCaptureDeviceInput(device: device) if session.canAddInput(input) { session.addInput(input) } } catch { delegate?.cameraService(self, didFail: error) return } if session.canAddOutput(videoOutput) { session.addOutput(videoOutput) } session.commitConfiguration() } func setExposureBias(_ value: Float) { guard let device currentDevice else { return } do { try device.lockForConfiguration() let clampedValue max(device.minExposureTargetBias, min(device.maxExposureTargetBias, value)) device.setExposureTargetBias(clampedValue) { _ in } device.unlockForConfiguration() } catch { print(鎖定設(shè)備配置失敗: \(error)) } } func focusAtPoint(_ point: CGPoint, in previewLayer: AVCaptureVideoPreviewLayer) { guard let device currentDevice else { return } let pointOfInterest previewLayer.captureDevicePointConverted(fromLayerPoint: point) do { try device.lockForConfiguration() if device.isFocusPointOfInterestSupported { device.focusPointOfInterest pointOfInterest device.focusMode .autoFocus } if device.isExposurePointOfInterestSupported { device.exposurePointOfInterest pointOfInterest device.exposureMode .autoExpose } device.unlockForConfiguration() } catch { print(設(shè)置對(duì)焦失敗: \(error)) } } } extension CameraService: AVCaptureVideoDataOutputSampleBufferDelegate { func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { guard let pixelBuffer CMSampleBufferGetImageBuffer(sampleBuffer) else { return } if let brightness brightness(from: pixelBuffer) { DispatchQueue.main.async { [weak self] in self?.delegate?.cameraService(self!, didOutput: brightness) } } } private func brightness(from pixelBuffer: CVPixelBuffer) - Float? { let ciImage CIImage(cvPixelBuffer: pixelBuffer) let extent ciImage.extent let filter CIFilter(name: CIAreaAverage)! filter.setValue(ciImage, forKey: kCIInputImageKey) filter.setValue(CIVector(cgRect: extent), forKey: kCIInputExtentKey) guard let outputImage filter.outputImage else { return nil } var bitmap [UInt8](repeating: 0, count: 4) ciContext.render(outputImage, toBitmap: bitmap, rowBytes: 4, bounds: CGRect(x: 0, y: 0, width: 1, height: 1), format: .RGBA8, colorSpace: nil) let r Float(bitmap[0]) / 255.0 let g Float(bitmap[1]) / 255.0 let b Float(bitmap[2]) / 255.0 return 0.2126 * r 0.7152 * g 0.0722 * b } } enum CameraError: LocalizedError { case deviceNotFound var errorDescription: String? { switch self { case .deviceNotFound: return 未找到可用的相機(jī)設(shè)備 } } }代碼說明使用sessionQueue串行隊(duì)列執(zhí)行會(huì)話配置和啟停操作避免主線程阻塞。videoOutput.alwaysDiscardsLateVideoFrames true表示幀數(shù)據(jù)堆積時(shí)丟棄舊幀保證亮度回調(diào)的實(shí)時(shí)性。亮度計(jì)算使用 Rec.709 權(quán)重更接近人類對(duì)亮度的感知。setExposureBias方法會(huì)先做min/max范圍約束防止傳入非法值導(dǎo)致崩潰。4.2 創(chuàng)建預(yù)覽視圖在 SwiftUI 中接入AVCaptureVideoPreviewLayer最通用的方式是使用UIViewRepresentable包裝一個(gè)UIView。文件路徑Views/CameraPreviewView.swiftimport SwiftUI import AVFoundation struct CameraPreviewView: UIViewRepresentable { let previewLayer: AVCaptureVideoPreviewLayer func makeUIView(context: Context) - UIView { let view UIView() view.backgroundColor .black previewLayer.frame view.bounds view.layer.addSublayer(previewLayer) return view } func updateUIView(_ uiView: UIView, context: Context) { DispatchQueue.main.async { previewLayer.frame uiView.bounds } } }這里有一個(gè)容易忽略的細(xì)節(jié)makeUIView執(zhí)行時(shí)UIView的 bounds 可能還不是最終尺寸所以需要在updateUIView中持續(xù)更新previewLayer.frame否則預(yù)覽畫面可能顯示不全。4.3 創(chuàng)建亮度指示器亮度指示器是 Camera Sun 項(xiàng)目最有辨識(shí)度的 UI 之一。它用一條橫向的漸變條展示當(dāng)前畫面的平均亮度用戶一眼就能看出“現(xiàn)在畫面是偏暗還是偏亮”。文件路徑Views/BrightnessIndicatorView.swiftimport SwiftUI struct BrightnessIndicatorView: View { let brightness: Float let targetBrightness: Float private var normalizedValue: CGFloat { CGFloat(max(0, min(1, brightness))) } var body: some View { GeometryReader { geometry in ZStack(alignment: .leading) { Capsule() .fill(Color.black.opacity(0.6)) .overlay( Capsule() .stroke(Color.white.opacity(0.3), lineWidth: 1) ) // 亮度漸變條 Capsule() .fill( LinearGradient( colors: [.black, .gray, .white], startPoint: .leading, endPoint: .trailing ) ) .frame(width: geometry.size.width * normalizedValue) // 目標(biāo)亮度指示線 Rectangle() .fill(Color.yellow) .frame(width: 2) .offset(x: geometry.size.width * CGFloat(targetBrightness) - 1) } } .frame(height: 8) } } struct BrightnessIndicatorView_Previews: PreviewProvider { static var previews: some View { BrightnessIndicatorView(brightness: 0.5, targetBrightness: 0.6) .padding() } }這里的targetBrightness可以理解為我們“期望的畫面亮度”比如 0.5 代表中等亮度。當(dāng)指示條超過目標(biāo)線時(shí)畫面偏亮低于目標(biāo)線時(shí)畫面偏暗。4.4 創(chuàng)建曝光控制滑塊曝光補(bǔ)償是 Camera Sun 的核心交互這里用 SwiftUI 的Slider綁定 EV 值。文件路徑Views/ExposureControlView.swiftimport SwiftUI struct ExposureControlView: View { Binding var exposureValue: Double let range: ClosedRangeDouble var body: some View { VStack(spacing: 8) { HStack { Text(EV) .font(.caption) .foregroundColor(.white) Slider(value: $exposureValue, in: range, step: 0.1) .tint(.yellow) Text(String(format: %.1f, exposureValue)) .font(.caption.monospacedDigit()) .foregroundColor(.white) .frame(width: 50, alignment: .trailing) } HStack { Text(暗) .font(.caption2) .foregroundColor(.white.opacity(0.6)) Spacer() Text(亮) .font(.caption2) .foregroundColor(.white.opacity(0.6)) } } .padding(.horizontal, 16) .padding(.vertical, 12) .background(Color.black.opacity(0.5)) .clipShape(RoundedRectangle(cornerRadius: 12)) .padding(.horizontal, 20) } }4.5 組裝主界面現(xiàn)在把相機(jī)預(yù)覽、亮度指示器、曝光控制整合到一個(gè)界面中。文件路徑Views/ContentView.swiftimport SwiftUI import AVFoundation struct ContentView: View { StateObject private var viewModel CameraViewModel() var body: some View { ZStack { Color.black.ignoresSafeArea() if let previewLayer viewModel.previewLayer { CameraPreviewView(previewLayer: previewLayer) .ignoresSafeArea() } else { ProgressView(相機(jī)初始化中...) .foregroundColor(.white) } VStack { Spacer() // 亮度狀態(tài)卡片 VStack(alignment: .leading, spacing: 8) { HStack { Image(systemName: sun.max.fill) .foregroundColor(.yellow) Text(亮度分析) .font(.headline) .foregroundColor(.white) Spacer() Text(String(format: %.2f, viewModel.currentBrightness)) .font(.system(.body, design: .monospaced)) .foregroundColor(.white) } BrightnessIndicatorView( brightness: viewModel.currentBrightness, targetBrightness: viewModel.targetBrightness ) Text(viewModel.brightnessDescription) .font(.caption) .foregroundColor(.white.opacity(0.8)) } .padding(16) .background(Color.black.opacity(0.5)) .clipShape(RoundedRectangle(cornerRadius: 16)) .padding(.horizontal, 20) ExposureControlView( exposureValue: $viewModel.exposureValue, range: viewModel.exposureRange ) } } .onAppear { viewModel.start() } .onDisappear { viewModel.stop() } .gesture( DragGesture(minimumDistance: 0) .onEnded { value in viewModel.focusAtPoint(value.location) } ) } } final class CameraViewModel: ObservableObject { Published var previewLayer: AVCaptureVideoPreviewLayer? Published var currentBrightness: Float 0 Published var exposureValue: Double 0 Published var targetBrightness: Float 0.55 Published var exposureRange: ClosedRangeDouble -8.0...8.0 Published var brightnessDescription: String 等待數(shù)據(jù)... private let cameraService CameraService() private var isUpdatingExposure false init() { cameraService.delegate self preparePreviewLayer() } private func preparePreviewLayer() { // 這里延遲獲取 previewLayer確保 session 已經(jīng)初始化 DispatchQueue.main.async { [weak self] in guard let self self else { return } self.previewLayer self.cameraService.previewLayer } } func start() { cameraService.start() } func stop() { cameraService.stop() } func focusAtPoint(_ point: CGPoint) { guard let previewLayer previewLayer else { return } cameraService.focusAtPoint(point, in: previewLayer) } } extension CameraViewModel: CameraServiceDelegate { func cameraService(_ service: CameraService, didOutput brightness: Float) { DispatchQueue.main.async { self.currentBrightness brightness switch brightness { case ..0.2: self.brightnessDescription 畫面過暗建議增加曝光補(bǔ)償 case 0.2..0.4: self.brightnessDescription 畫面偏暗可適當(dāng)增加曝光 case 0.4..0.7: self.brightnessDescription 亮度正常無需調(diào)整 case 0.7..0.9: self.brightnessDescription 畫面偏亮可適當(dāng)降低曝光 default: self.brightnessDescription 畫面過亮建議降低曝光補(bǔ)償 } // 如果有手動(dòng)曝光調(diào)整不自動(dòng)干預(yù) if abs(self.exposureValue) 0.05 { self.autoAdjustExposureIfNeeded(brightness: brightness) } } } func cameraService(_ service: CameraService, didFail error: Error) { DispatchQueue.main.async { self.brightnessDescription 相機(jī)錯(cuò)誤: \(error.localizedDescription) } } private func autoAdjustExposureIfNeeded(brightness: Float) { guard !isUpdatingExposure else { return } isUpdatingExposure true defer { isUpdatingExposure false } let diff targetBrightness - brightness // 只有偏差超過閾值才調(diào)整避免頻繁抖動(dòng) if abs(diff) 0.1 { let adjustment Double(diff * 2) let newValue max(-8, min(8, exposureValue adjustment)) cameraService.setExposureBias(Float(newValue)) DispatchQueue.main.async { self.exposureValue newValue } } } }代碼說明CameraViewModel作為中間層負(fù)責(zé)把CameraService的代理回調(diào)轉(zhuǎn)成 SwiftUI 可觀察的Published屬性。exposureValue被用戶手動(dòng)拖動(dòng)后自動(dòng)曝光調(diào)整會(huì)暫停避免“用戶想調(diào)系統(tǒng)又拉回來”的沖突。亮度描述文本使用區(qū)間判斷提示用戶當(dāng)前畫面狀態(tài)。4.6 配置權(quán)限在Info.plist中加入相機(jī)權(quán)限描述keyNSCameraUsageDescription/key stringCamera Sun 需要使用相機(jī)來分析和調(diào)整拍攝畫面/string不加這一條應(yīng)用啟動(dòng)相機(jī)采集時(shí)會(huì)直接崩潰。4.7 運(yùn)行驗(yàn)證將上述代碼編譯運(yùn)行到 iPhone 真機(jī)上預(yù)期效果如下啟動(dòng) App 后進(jìn)入自定義相機(jī)預(yù)覽頁面。預(yù)覽畫面顯示實(shí)時(shí)取景。頂部亮度指示條根據(jù)畫面亮度實(shí)時(shí)變化。手動(dòng)拖動(dòng) EV 滑塊后畫面亮度發(fā)生明顯變化。手指點(diǎn)擊預(yù)覽畫面任意位置相機(jī)自動(dòng)對(duì)焦并重新測(cè)光。在模擬器上運(yùn)行時(shí)預(yù)覽畫面可能是黑屏或者顯示模擬器桌面這是因?yàn)槟M器沒有真實(shí)相機(jī)采集能力。建議盡早使用真機(jī)調(diào)試。5. 常見問題與排查思路5.1 相機(jī)權(quán)限彈窗沒有彈出問題現(xiàn)象常見原因解決思路啟動(dòng)后直接崩潰Info.plist 缺少相機(jī)權(quán)限描述檢查NSCameraUsageDescription權(quán)限彈窗彈出后點(diǎn)擊允許仍然黑屏用戶之前選擇了“不允許”需要在系統(tǒng)設(shè)置中開啟提示用戶前往系統(tǒng)設(shè)置開啟權(quán)限模擬器上沒有彈窗模擬器不支持真實(shí)相機(jī)使用真機(jī)調(diào)試5.2 預(yù)覽畫面黑屏問題現(xiàn)象常見原因解決思路預(yù)覽全黑但相機(jī)權(quán)限已開啟AVCaptureVideoPreviewLayer沒有正確添加到視圖層級(jí)檢查previewLayer.frame是否更新預(yù)覽區(qū)域黑屏但亮度數(shù)據(jù)有回調(diào)previewLayer被釋放使用強(qiáng)引用保存 previewLayer從后臺(tái)返回后黑屏未在viewWillAppear重新啟動(dòng) session在scenePhase變化時(shí)重新startRunning()5.3 亮度數(shù)據(jù)不刷新如果cameraService(_:didOutput:)一直不回調(diào)優(yōu)先檢查AVCaptureVideoDataOutput是否成功添加到 sessionif session.canAddOutput(videoOutput) { session.addOutput(videoOutput) } else { print(無法添加 videoDataOutput) }另外AVCaptureVideoDataOutput需要強(qiáng)引用不要聲明為局部變量。5.4 EV 滑塊拖動(dòng)后畫面沒有變化可能原因當(dāng)前設(shè)備isExposureTargetBiasSupported為false。設(shè)備沒有成功lockForConfiguration()。EV 值沒有落在minExposureTargetBias...maxExposureTargetBias范圍內(nèi)。排查代碼print(曝光補(bǔ)償范圍: \(device.minExposureTargetBias) ~ \(device.maxExposureTargetBias)) print(是否支持曝光補(bǔ)償: \(device.isExposureTargetBiasSupported))5.5 性能問題掉幀和發(fā)熱每幀都執(zhí)行CIAreaAverage在真機(jī)上通常不會(huì)有太大壓力但如果你的項(xiàng)目比較復(fù)雜可以考慮以下優(yōu)化方式降低采樣幀率比如每 3 幀計(jì)算一次亮度?？s小計(jì)算區(qū)域使用CIImage的cropped(to:)只分析畫面中心區(qū)域。降低視頻輸出分辨率使用session.sessionPreset .medium。避免在主線程做任何 CoreImage 操作。降低采樣幀率的示例private var frameCount 0 func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { frameCount 1 guard frameCount % 3 0 else { return } // 亮度計(jì)算 }6. 最佳實(shí)踐與工程建議6.1 曝光控制的策略選擇Camera Sun 項(xiàng)目里我把曝光控制做成了兩種模式混合用戶不干預(yù)時(shí)系統(tǒng)根據(jù)亮度信息自動(dòng)調(diào)整 EV。用戶手動(dòng)調(diào)整后以用戶設(shè)置為準(zhǔn)。這種設(shè)計(jì)的核心思路是不跟用戶搶控制權(quán)。原生相機(jī)之所以在一些場(chǎng)景下給人“不聽話”的感覺恰恰是因?yàn)樽詣?dòng)策略太強(qiáng)勢(shì)。在自定義相機(jī)中我們應(yīng)該把自動(dòng)策略看成“默認(rèn)值”而不是“唯一值”。在實(shí)際業(yè)務(wù)中還可以增加一個(gè)“自動(dòng)/手動(dòng)”切換開關(guān)讓用戶明確知道當(dāng)前處于哪種模式。6.2 亮度分析的通用性CIAreaAverage計(jì)算的是全畫面平均亮度但在很多場(chǎng)景下它并不準(zhǔn)確。例如畫面左邊是太陽右邊是陰影平均亮度可能正好落在 0.5。但用戶真正想拍的主體在陰影里需要的是“陰影區(qū)域”的亮度數(shù)據(jù)。更合理的方式是引入?yún)^(qū)域權(quán)重// 只分析畫面中心 60% 區(qū)域的亮度 let centerRect CGRect(x: extent.width * 0.2, y: extent.height * 0.2, width: extent.width * 0.6, height: extent.height * 0.6) let centerImage ciImage.cropped(to: centerRect)這樣在逆光場(chǎng)景下自動(dòng)曝光會(huì)更偏向畫面中心的主體。6.3 設(shè)備配置的邊界檢查AVFoundation 的 API 在不同 iOS 版本、不同設(shè)備上有很大差異。比如某些設(shè)備支持builtInDualCamera某些只有builtInWideAngleCamera。不同設(shè)備的minExposureTargetBias和maxExposureTargetBias范圍不同。某些設(shè)備支持autoFocusRangeRestriction某些不支持。所以在做設(shè)備配置時(shí)一定要先查詢能力再設(shè)置屬性if device.isExposurePointOfInterestSupported { device.exposurePointOfInterest point }6.4 線程模型的必要性在CameraService中我使用了三個(gè)隊(duì)列sessionQueue配置會(huì)話、啟停相機(jī)。videoQueue接收視頻幀回調(diào)。主隊(duì)列更新 UI。原因是相機(jī)配置操作耗時(shí)且阻塞不能放在主線程。視頻幀回調(diào)頻率高如果直接在里面更新 UI會(huì)導(dǎo)致卡頓。AVFoundation 的 delegate 回調(diào)不一定在主線程需要手動(dòng)切回主隊(duì)列更新 UI。6.5 內(nèi)存管理與生命周期在視頻幀回調(diào)中CMSampleBuffer和CVPixelBuffer是高頻創(chuàng)建的對(duì)象如果持有引用時(shí)間過長(zhǎng)內(nèi)存會(huì)快速增長(zhǎng)。建議亮度計(jì)算完成后不要保留CIImage或CVPixelBuffer的強(qiáng)引用。使用autoreleasepool包裹每幀處理邏輯。在 App 進(jìn)入后臺(tái)時(shí)調(diào)用stop()回到前臺(tái)再start()。示例func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { autoreleasepool { // 幀處理邏輯 } }6.6 權(quán)限處理的工程化真實(shí)項(xiàng)目中相機(jī)權(quán)限不應(yīng)該只在啟動(dòng)時(shí)請(qǐng)求一次。更合理的方式是啟動(dòng)時(shí)檢查授權(quán)狀態(tài)。如果被拒絕在 UI 上展示引導(dǎo)頁面。引導(dǎo)用戶去系統(tǒng)設(shè)置中開啟。從后臺(tái)返回時(shí)重新檢查授權(quán)狀態(tài)。switch AVCaptureDevice.authorizationStatus(for: .video) { case .authorized: // 已有權(quán)限直接啟動(dòng) case .notDetermined: // 請(qǐng)求權(quán)限 AVCaptureDevice.requestAccess(for: .video) { granted in // 處理結(jié)果 } case .denied: // 提示用戶去設(shè)置開啟 case .restricted: // 家長(zhǎng)控制等情況 break }6.7 日志與調(diào)試建議相機(jī)模塊涉及硬件交互真機(jī)問題往往只能在特定設(shè)備上復(fù)現(xiàn)。建議在關(guān)鍵路徑輸出日志// 設(shè)備信息 print(設(shè)備: \(device.localizedName)) print(曝光范圍: \(device.minExposureTargetBias) ~ \(device.maxExposureTargetBias)) print(當(dāng)前曝光: \(device.exposureTargetBias)) // 會(huì)話狀態(tài) print(session.isRunning: \(session.isRunning))在調(diào)試階段打開 AVFoundation 的日志會(huì)有大量輸出如果不好定位問題可以先加一個(gè)全局日志開關(guān)#if DEBUG let isDebugLogEnabled true #else let isDebugLogEnabled false #endif7. 總結(jié)與下一步方向Camera Sun 這個(gè)項(xiàng)目最核心的價(jià)值不是把原生相機(jī)的所有功能重寫一遍而是提供一種思路——在系統(tǒng)相機(jī)覆蓋不到的場(chǎng)景里用 AVFoundation 構(gòu)建更符合特定需求的拍攝工具。本文的示例已經(jīng)覆蓋了自定義相機(jī)采集、實(shí)時(shí)亮度分析、曝光補(bǔ)償調(diào)節(jié)、點(diǎn)測(cè)光對(duì)焦這些關(guān)鍵能力。你在自己的項(xiàng)目里可以直接復(fù)用CameraService和CameraViewModel的代碼結(jié)構(gòu)再根據(jù)需要擴(kuò)展。如果想在這個(gè)基礎(chǔ)上繼續(xù)深入以下幾件事值得優(yōu)先研究第一更精細(xì)的測(cè)光策略。目前的CIAreaAverage是全畫面平均亮度在復(fù)雜光線場(chǎng)景下不夠準(zhǔn)確?？梢詫W(xué)習(xí)一下中心重點(diǎn)測(cè)光和點(diǎn)測(cè)光的算法思路并結(jié)合人臉檢測(cè)、主體識(shí)別來動(dòng)態(tài)選擇測(cè)光區(qū)域。第二手動(dòng)對(duì)焦與變焦控制。AVFoundation 提供了videoZoomFactor、focusMode、lensPosition等接口可以進(jìn)一步做成專業(yè)相機(jī)應(yīng)用那樣的手動(dòng)模式。第三RAW 格式與照片處理。如果要走專業(yè)方向需要學(xué)習(xí)AVCapturePhotoOutput的 RAW 輸出能力以及如何在拍攝后做 TONE MAPPING。第四視頻拍攝中的實(shí)時(shí)曝光調(diào)整。如果項(xiàng)目需要支持視頻錄制還要考慮曝光調(diào)整過程中畫面的平滑過渡避免錄制過程中亮度突變。相機(jī)類 App 的開發(fā)門檻不在“能不能調(diào)起相機(jī)”而在“能不能把畫面效果調(diào)到用戶滿意”。希望這篇教程能幫你邁過第一道坎后續(xù)的優(yōu)化空間還很大。如果你在真機(jī)調(diào)試中遇到其他問題歡迎在評(píng)論區(qū)交流討論。把代碼跑起來然后試著在夕陽場(chǎng)景下拍一組對(duì)比照片你會(huì)發(fā)現(xiàn)——原來 iPhone 的自定義相機(jī)比系統(tǒng)相機(jī)的可玩性高得多。