設(shè)計(jì)仿真 | ?？怂箍礦TD智能駕駛仿真方案—Camera

隨著自動(dòng)駕駛技術(shù)的飛速發(fā)展，行業(yè)對(duì)測(cè)試精度和安全性的要求也越來越高。與傳統(tǒng)的道路測(cè)試相比，虛擬仿真能夠模擬各種復(fù)雜的駕駛環(huán)境，不受天氣、道路條件等因素限制。自動(dòng)駕駛系統(tǒng)需要依靠搭載的傳感器感知外界環(huán)境，識(shí)別道路標(biāo)志、檢測(cè)行人、估測(cè)物體距離等，從而做出安全、精準(zhǔn)的駕駛決策。?？怂箍底鳛樽詣?dòng)駕駛汽車開發(fā)全鏈路測(cè)試方案的提供方，其VTD（Virtual Test Drive）軟件被廣泛應(yīng)用于各類自動(dòng)駕駛算法及汽車研發(fā)的測(cè)試工作中，該軟件在模擬高精度的交通仿真場(chǎng)景的同時(shí)，還兼具各類傳感器數(shù)據(jù)的物理仿真。

01?？怂箍礦TD Camera仿真概述

自動(dòng)駕駛仿真系統(tǒng)能夠?qū)鞲衅鲾?shù)據(jù)進(jìn)行分析處理來感知周圍環(huán)境，并以此為依據(jù)進(jìn)行決策。視覺感知是自動(dòng)駕駛系統(tǒng)的關(guān)鍵技術(shù)，在傳感器仿真中，相機(jī)傳感器尤為重要?；诒平鎸?shí)道路場(chǎng)景的視覺環(huán)境，VTD的相機(jī)傳感器能夠配置現(xiàn)實(shí)世界中真實(shí)相機(jī)的內(nèi)參外參，模擬鏡頭畸變、CMOS成像、ISP仿真等多種相機(jī)成像數(shù)據(jù)。不僅能夠模擬虛擬環(huán)境中的光照、天氣、物體遮擋等因素，還可以還原真實(shí)相機(jī)的物理特性，更加貼近真實(shí)駕駛環(huán)境，從而為自動(dòng)駕駛測(cè)試中傳感器算法提供逼真的圖像數(shù)據(jù)。

02Camera仿真的數(shù)據(jù)鏈路

為了更加真實(shí)地模擬實(shí)際相機(jī)的物理過程，仿真相機(jī)傳感器的數(shù)據(jù)處理鏈路分為鏡頭、CMOS傳感器、圖像信號(hào)處理（ISP）模塊，以及特性和噪聲模擬四個(gè)主要部分，用以在仿真系統(tǒng)中再現(xiàn)真實(shí)相機(jī)的工作機(jī)制和輸出結(jié)果。

1、鏡頭仿真與畸變模擬

鏡頭是光學(xué)系統(tǒng)的核心，它決定了光線進(jìn)入相機(jī)時(shí)的折射、聚焦和畸變。為了模擬真實(shí)相機(jī)鏡頭中的畸變效應(yīng)，VTD提供了lensDistortion工具，包含兩種畸變仿真方法：

方法一：基于OpenCV的參數(shù)化方法

該方法依賴于供應(yīng)商提供的相機(jī)規(guī)格數(shù)據(jù)，通過OpenCV的畸變參數(shù)（如k1、k2、k3、p1、p2）以及內(nèi)參矩陣參數(shù)（fx、fy、cx、cy），結(jié)合相機(jī)的視場(chǎng)角（fov）和分辨率（resolution）等數(shù)據(jù)，進(jìn)行畸變建模。利用這些參數(shù)，我們可以重構(gòu)鏡頭中的幾何畸變效應(yīng)，模擬圖像在不同鏡頭下的真實(shí)扭曲與變形情況。

方法二：基于實(shí)驗(yàn)的擬合方法

在此方法中，我們使用實(shí)際的相機(jī)鏡頭進(jìn)行拍攝實(shí)驗(yàn)，通過實(shí)驗(yàn)數(shù)據(jù)（如實(shí)際Fov、實(shí)際像高）結(jié)合理論值（理論像高、畸變率、CMOS像素尺寸、分辨率等參數(shù)），利用多項(xiàng)式擬合出二者的對(duì)應(yīng)關(guān)系。該過程模擬了真實(shí)相機(jī)鏡頭對(duì)圖像的影響，從而獲得最貼近真實(shí)情況的畸變效果。

2、CMOS仿真：

CMOS傳感器是相機(jī)的核心部件，它將物理世界中的光信號(hào)轉(zhuǎn)換為電信號(hào)進(jìn)行記錄。VTD通過模擬真實(shí)相機(jī)的CMOS功能模塊，準(zhǔn)確再現(xiàn)相機(jī)在不同光照條件下的響應(yīng)特性。

VTD開發(fā)了一套完整的圖像色彩轉(zhuǎn)換流程，涵蓋從真實(shí)世界的圖像數(shù)據(jù)采集、仿真生成，到兩者之間的對(duì)比分析與調(diào)整。CMOS仿真主要為三通道RGB圖像到RAW圖像的轉(zhuǎn)換，通過數(shù)學(xué)擬合方法，對(duì)真實(shí)相機(jī)拍攝的圖像與VTD渲染出的圖像之間的參數(shù)進(jìn)行擬合調(diào)整。

針對(duì)特定的CMOS傳感器，我們支持基于實(shí)驗(yàn)數(shù)據(jù)擬合的方式。在暗室環(huán)境中使用24色標(biāo)準(zhǔn)色卡進(jìn)行拍攝實(shí)驗(yàn)，收集相機(jī)拍攝到的Raw圖數(shù)據(jù)，建立VTD渲染的RGB圖像到Raw數(shù)據(jù)之間映射關(guān)系，將RGB圖像轉(zhuǎn)化為不同格式（如RCCC、YUV）的Raw圖像（如下圖），再現(xiàn)真實(shí)相機(jī)拍攝下的圖像信號(hào)特性。

后處理結(jié)果圖和Raw圖

3、ISP仿真：

ISP是實(shí)際相機(jī)中用于調(diào)整和優(yōu)化圖像質(zhì)量的模塊，通常包括自動(dòng)曝光控制、白平衡調(diào)節(jié)、對(duì)比度調(diào)整等功能。在仿真世界里，ISP仿真模塊通過VTD中的后處理模塊實(shí)現(xiàn)。

VTD在圖像渲染過程中對(duì)每個(gè)像素的顏色、亮度及其他屬性進(jìn)一步處理，以模擬真實(shí)相機(jī)ISP的效果，可以調(diào)整圖像的曝光、白平衡，使得輸出圖像在這些參數(shù)上與真實(shí)相機(jī)圖像具有更加一致的色溫，為測(cè)試環(huán)境提供更為豐富真實(shí)的圖像。

曝光效果圖

白平衡效果圖

4、特性（feature）及噪聲（Noise）仿真：

特性是指因相機(jī)本身設(shè)計(jì)而對(duì)最終圖像造成的影響效果，例如景深和動(dòng)態(tài)模糊等。景深是和光圈大小，鏡頭焦距，CMOS像素尺寸都相關(guān)的一個(gè)特性，下圖展示了VTD中對(duì)于景深的仿真，可以看到距離最近的骰子相對(duì)模糊，而遠(yuǎn)處的骰子和車相對(duì)清晰。

景深效果圖

噪聲是實(shí)際相機(jī)在工作過程中不可避免的現(xiàn)象，主要來源于自然環(huán)境（如樹葉遮擋、大霧、雨滴、光暈、灰塵等）和硬件缺陷（如傳感器噪聲、硬件劃痕、白平衡偏差等）。為了模擬真實(shí)噪聲效果，VTD提供了多種噪聲仿真方法，通過調(diào)整物體材質(zhì)、環(huán)境光照及后處理的著色器模塊等，逼真地再現(xiàn)了這些相機(jī)噪聲效果。  

例如，在雨天場(chǎng)景中，仿真相機(jī)可以模擬雨滴打在鏡頭上的效果；在晴朗的白天，太陽光照射到相機(jī)鏡頭上產(chǎn)生的光暈效果。此外，還可以加入人為的硬件噪聲模擬，如傳感器老化導(dǎo)致的圖像信號(hào)損壞或自動(dòng)白平衡功能失效引起的色彩偏差。這些噪聲模擬的引入，增強(qiáng)了仿真系統(tǒng)在極端場(chǎng)景中的魯棒性測(cè)試能力，使得自動(dòng)駕駛算法在更加多樣性和復(fù)雜的環(huán)境中得到驗(yàn)證。

通過這條相機(jī)傳感器的數(shù)據(jù)處理鏈路，VTD能夠模擬相機(jī)從光線進(jìn)入鏡頭、經(jīng)過CMOS傳感器到ISP處理再到最終圖像輸出的全過程。這不僅使得相機(jī)仿真圖像在視覺上高度逼近現(xiàn)實(shí)，還為相機(jī)感知算法的開發(fā)和驗(yàn)證提供了一個(gè)穩(wěn)定而逼真的測(cè)試平臺(tái)。

03Camera語義分割圖仿真

語義分割圖是指對(duì)圖像中的像素點(diǎn)基于目標(biāo)級(jí)別進(jìn)行分類，使每個(gè)像素點(diǎn)都有其對(duì)應(yīng)于三維空間的目標(biāo)從屬。語義分割圖對(duì)于基于視覺的感知算法進(jìn)行后續(xù)工作起著重要作用。VTD中可以根據(jù)不同的材質(zhì)/物體對(duì)渲染圖像進(jìn)行語義分割，通過加載colorSegmentation工程來實(shí)現(xiàn)，支持自定義配置。

左圖為原始圖，右圖為對(duì)應(yīng)的語義分割圖

深度圖

深度圖也被稱為距離影像，是指將圖像采集器到場(chǎng)景中各點(diǎn)的距離（深度）作為像素值的圖像。在深度數(shù)據(jù)流所提供的圖像幀中，每個(gè)像素點(diǎn)表示在深度感應(yīng)器視野中對(duì)應(yīng)的坐標(biāo)處物體離攝像頭平面最近的表面到該相機(jī)平面的距離。

上圖為VTD中的深度圖像截圖，可以將此深度圖像的深度值z(mì)-buffer轉(zhuǎn)換為物體到相機(jī)平面的距離。z-buffer 值與物體表面到相機(jī)坐標(biāo)系 xy 平面的距離關(guān)系如下：

z = 0.5*(f+n)/(f-n) + (-f*n)/(f-n) * (1/d) + 0.5

其中，z為z-buffer 值（歸一化為0~1），d為物體最近表面到相機(jī)坐標(biāo)系 xy 平面的距離，n和f分別為 近裁剪面和遠(yuǎn)裁剪面。z-buffer 值通常在0~1范圍內(nèi)。z-buffer 值為“0”的像素位于近裁剪面（near clip）上，值為“1”的像素位于遠(yuǎn)裁剪面（far clip）上。

多相機(jī)組

在空間不同位置上配置多個(gè)相機(jī)，從不同視角采集圖像或視頻數(shù)據(jù)，可以實(shí)現(xiàn)多視角同步顯示或三維空間投影等功能，滿足多種用戶仿真測(cè)試目標(biāo)。

在VTD的多顯示器相機(jī)組中，可以單獨(dú)配置每個(gè)相機(jī)的內(nèi)參和外參，靈活調(diào)節(jié)相機(jī)的主軸、光心位置、成像平面等，達(dá)到工程實(shí)際應(yīng)用的多種需求。下圖展示了相機(jī)視錐角度的計(jì)算過程。

04總結(jié)

基于海克斯康提供的VTD虛擬仿真測(cè)試方案，在為用戶提供高質(zhì)量的虛擬交通場(chǎng)景圖像和對(duì)標(biāo)真實(shí)相機(jī)參數(shù)的視覺模擬的同時(shí)，還能為自動(dòng)駕駛系統(tǒng)的測(cè)試和優(yōu)化提供重要的數(shù)據(jù)支持。同時(shí)結(jié)合VTD軟件基于光線追蹤技術(shù)的其他傳感器仿真方案（激光雷達(dá)、毫米波雷達(dá)等），一起為自動(dòng)駕駛仿真提供全方位的支持。