安全行車至關(guān)重要。很大比例的交通事故是由疲勞駕駛或駕駛員注意力分散所導(dǎo)致。因此,越來越多的車輛開始配備駕駛員監(jiān)控系統(tǒng)(Driver Monitor System, DMS),時(shí)刻監(jiān)視司機(jī)是否打瞌睡或者分神做其他事情。 意法半導(dǎo)體(STMicroelectronics,簡(jiǎn)稱ST)亞太區(qū)影像事業(yè)部技術(shù)市場(chǎng)經(jīng)理林國(guó)志先生介紹說,DMS本質(zhì)上是一種計(jì)算機(jī)視覺系統(tǒng)。他說,計(jì)算機(jī)視覺是人工智能領(lǐng)域的一個(gè)分支,能夠讓計(jì)算系統(tǒng)從數(shù)字圖像、視頻和其他視覺數(shù)據(jù)中提取有意義的信息,并根據(jù)這些信息采取行動(dòng)或提出建議。 DMS的一個(gè)關(guān)鍵部件是攝像頭,圖像傳感器又是攝像頭中最重要的半導(dǎo)體器件。DMS需要一種特殊的圖像傳感器:全局快門圖像傳感器。這種傳感器的最大特點(diǎn)是能夠一次拍攝整幅圖像,而且拍攝時(shí)間非常短,成像準(zhǔn)確不失真,所以最適合實(shí)現(xiàn)計(jì)算機(jī)視覺。相比之下,傳統(tǒng)的卷簾快門則是逐行拍攝。如果被攝對(duì)象快速移動(dòng),那么它得到的圖像就會(huì)產(chǎn)生扭曲,所以不適合用于計(jì)算機(jī)視覺。 全局快門圖像傳感器的另一優(yōu)勢(shì)是低功耗,非常適合DMS這樣的常開(Always-on)系統(tǒng)。而卷簾快門圖像傳感器則功耗高,更適合用于相機(jī)這類的高分辨率但短暫拍攝的設(shè)備。 由于夜間行車同樣重要,所以DMS采用近紅外(NIR)光線拍照,這樣夜間補(bǔ)光時(shí)不會(huì)干擾司機(jī)駕駛。對(duì)于DMS來說,NIR單色拍照足以應(yīng)付對(duì)司機(jī)臉部表情和肢體動(dòng)作的監(jiān)控分析。DMS的作用包括注意力/分心/嗜睡監(jiān)測(cè)、健康狀況/心率/呼吸監(jiān)測(cè)、視線監(jiān)測(cè)、頭向監(jiān)測(cè)、人臉識(shí)別(防盜)、雙手位置監(jiān)測(cè)、錄音(法律要求)和ADAS交互管理等。 除了駕駛員監(jiān)控系統(tǒng)DMS,汽車內(nèi)監(jiān)控還包括客艙監(jiān)控系統(tǒng),稱作CMS(in-Cabin Monitoring System)或OMS(Occupant Monitoring System)。意法半導(dǎo)體亞太區(qū)影像事業(yè)部技術(shù)市場(chǎng)高級(jí)經(jīng)理張程怡先生介紹說,該系統(tǒng)的趨勢(shì)是采用RGB彩色拍照,因?yàn)橄到y(tǒng)需要判斷除了駕駛者以外,車上還有何人何物,甚至乘客有視頻會(huì)議需求,因此需要RGB模式拍照。OMS的作用包括乘客存在檢測(cè)/車內(nèi)物體分類、乘客/兒童安全監(jiān)控、 氣囊乘客適配、乘客識(shí)別、事故記錄、闖入者偵測(cè)記錄和檢測(cè)是否有兒童遺忘在車內(nèi)。 為應(yīng)對(duì)上述需求,ST開發(fā)了一種OMS + DMS二合一系統(tǒng),通過一個(gè)RGB-NIR圖像傳感器來監(jiān)控駕駛員(近紅外)和乘客(彩色)行為,即僅需單個(gè)攝像頭就可以同時(shí)支持RGB和NIR。 ![]() 目前,ST的汽車全局快門傳感器已經(jīng)發(fā)展到了第二代。第一代產(chǎn)品的特色包括:高M(jìn)TF (對(duì)比度)實(shí)現(xiàn)了最準(zhǔn)確的視線檢測(cè),RGB & NIR數(shù)據(jù)管理功能實(shí)現(xiàn)了RGB和IR數(shù)據(jù)分流,高動(dòng)態(tài)范圍 (HDR) 保證了最高畫質(zhì)。在此基礎(chǔ)上,第二代產(chǎn)品又具備三大特點(diǎn):首先是NIR的高靈敏度,這意味著無需強(qiáng)勁的LED光源,從而降低功耗;其次是傳感器面積更小,這意味著攝像頭模組也可以做得更;再就是內(nèi)置處理,即傳感器帶有智能自動(dòng)曝光算法,所有處理運(yùn)算過程自動(dòng)完成,無需人工操作。 第二代產(chǎn)品的小尺寸特性是通過3D堆疊工藝實(shí)現(xiàn)的。張程怡先生介紹說,通過上下堆疊,器件整體尺寸變小了,但是它的像素跟性能卻提高了。ST最新的全局快門圖像傳感器在 940nm 處具有最高的量子效率,拍攝性能穩(wěn)健。正方形傳感器分辨率與鏡頭匹配最佳,適合旋轉(zhuǎn)拍攝使用場(chǎng)景。拍攝時(shí)間很短,降低了系統(tǒng)功耗。 ![]() ST汽車全局快門傳感器產(chǎn)品主要功能特性包括:復(fù)合AEC-Q100 2級(jí)汽車認(rèn)證,采用GS-HDR 高動(dòng)態(tài)范圍技術(shù),支持單色和彩色(RGB/RGB-NIR)成像,具有靈活的頻閃照明控制,近紅外傳感器靈敏度高,在近紅外頻譜內(nèi)MTF性能出色。 以上我們介紹了ST公司用于車內(nèi)監(jiān)控的全局快門圖像傳感器。全局快門圖像傳感器可廣泛應(yīng)用于各種計(jì)算機(jī)視覺系統(tǒng),如深度感應(yīng)(主動(dòng)雙目攝像頭和結(jié)構(gòu)光攝像頭)、生物識(shí)別(面部識(shí)別、二維人臉識(shí)別、人存在檢測(cè)、手勢(shì)檢測(cè)、掌紋識(shí)別、虹膜識(shí)別、駕駛與車艙監(jiān)視)、AR/VR/MR(眼球追、6DoF & *SLAM 6個(gè)自由度追蹤與同步定位與地圖構(gòu)建、手勢(shì)/手部追蹤 、面部/情緒跟蹤)、機(jī)器人和工業(yè)控制(無人機(jī)、*SLAM 、場(chǎng)景分析、物體檢測(cè)、工業(yè)4.0、條碼)等等。大量新興應(yīng)用,尤其是人工智能和元宇宙,需要全局快門圖像傳感器支持的計(jì)算機(jī)視覺技術(shù)。 ST全局快門傳感器具有意法半導(dǎo)體專有的像素技術(shù)、更高的方形分辨率和多種嵌入式計(jì)算機(jī)視覺功能,完全滿足計(jì)算機(jī)視覺應(yīng)用要求。在出貨、質(zhì)量和服務(wù)方面,意法半導(dǎo)體全局快門傳感器都排名市場(chǎng)前列。用戶可選用ST 全局快門圖像傳感器裸片、第三方封裝的傳感器或者第三方組裝的攝像頭模組(包括PCB、圖像傳感器、鏡頭和接口)。 |