1.痛點(diǎn)問(wèn)題
現(xiàn)有成像系統(tǒng)與智能系統(tǒng)的融合不夠充分,造成很多工作流程上的冗余和浪費(fèi)。成像、傳感、計(jì)算等模組分別單獨(dú)優(yōu)化,造成數(shù)據(jù)傳輸和存儲(chǔ)帶寬激增、計(jì)算資源消耗巨大、圖像處理延時(shí)過(guò)長(zhǎng)、功耗難以抑制等問(wèn)題。
2.解決方案
本成果“元相機(jī)”重新定義成像的獲取方式,把光和電在計(jì)算領(lǐng)域進(jìn)行融合,面向智能視覺(jué)任務(wù)進(jìn)行端到端優(yōu)化。這種設(shè)計(jì)體系將在圖像采集過(guò)程中光速執(zhí)行算法處理,將感知與計(jì)算二合一,實(shí)現(xiàn)“光電感算一體”,大大簡(jiǎn)化后端數(shù)字圖像處理的難度,降低數(shù)據(jù)成本、傳輸成本、計(jì)算成本和功耗成本。可支撐未來(lái)低功耗、低數(shù)據(jù)量、低計(jì)算量、高速度、集成化的智能感知設(shè)備的能力提升與應(yīng)用。
3.合作需求
1)人員需求:光學(xué)、電路、光機(jī)電、成像軟件及算法等領(lǐng)域?qū)I(yè)人士及工程師等;
2)資金需求:按商業(yè)規(guī)劃,前兩年有千萬(wàn)級(jí)融資需求;
3)場(chǎng)地及合作需求:提供研發(fā)基地及領(lǐng)域資源對(duì)接。
元相機(jī)-HFR的目標(biāo)群體為對(duì)長(zhǎng)時(shí)間高速攝影存在需求的相關(guān)企業(yè)與科研單位,其中國(guó)內(nèi)潛在市場(chǎng)約為20億元,該市場(chǎng)存在成熟商用產(chǎn)品可供使用,但價(jià)格過(guò)于昂貴,且均為國(guó)外產(chǎn)品,存在購(gòu)買(mǎi)風(fēng)險(xiǎn)與安全隱患。此外,該市場(chǎng)暫無(wú)可提供長(zhǎng)時(shí)間高速攝影的相關(guān)產(chǎn)品。本項(xiàng)目將主打國(guó)產(chǎn)化這一賣(mài)點(diǎn),搶占國(guó)內(nèi)市場(chǎng),進(jìn)而通過(guò)長(zhǎng)時(shí)間記錄的高速攝影作為差異化競(jìng)爭(zhēng)點(diǎn),全面進(jìn)軍與擴(kuò)展全球高速攝影市場(chǎng)。
元相機(jī)-HDR的目標(biāo)市場(chǎng)為自動(dòng)駕駛、消費(fèi)電子、智能安防等攝像模組傳統(tǒng)市場(chǎng),其市場(chǎng)容量近千億元。在該市場(chǎng)中,元相機(jī)-HDR將通過(guò)獨(dú)有的逐像素快門(mén)特性,為HDR成像、高信噪比成像等機(jī)器視覺(jué)中最重要的需求提全新解決方案。本項(xiàng)目前期計(jì)劃以無(wú)鬼影HDR為功能賣(mài)點(diǎn),切入對(duì)“運(yùn)動(dòng)物體HDR成像”有較為嚴(yán)格要求的領(lǐng)域,如自動(dòng)駕駛領(lǐng)域等。
“AI+光學(xué)”為元相機(jī)的技術(shù)引擎,貫穿自研產(chǎn)品的研發(fā)與制造全流程。通過(guò)AI算法,直面最終商業(yè)場(chǎng)景需求,逆向設(shè)計(jì)與優(yōu)化包含光學(xué)模組、圖像傳感器、圖像處理芯片與高級(jí)視覺(jué)任務(wù)算法在內(nèi)的圖像全鏈路。現(xiàn)階段,該技術(shù)引擎已賦能自研的元相機(jī)產(chǎn)品型號(hào)中。各應(yīng)用場(chǎng)景下的光學(xué)編碼圖案、圖像解碼算法均為聯(lián)合優(yōu)化與設(shè)計(jì)的結(jié)果。通過(guò)該技術(shù)引擎,產(chǎn)品的成像性能顯著提升,達(dá)到預(yù)期目標(biāo)。未來(lái),將繼續(xù)發(fā)力,除在已有的光學(xué)與算法側(cè)深耕外,會(huì)將技術(shù)路徑擴(kuò)展至ISP領(lǐng)域,打通光學(xué)、傳感、計(jì)算芯片與圖像算法的全鏈路。未來(lái)擬成立初創(chuàng)科技公司,兩年內(nèi)的總體目標(biāo)是通過(guò)元相機(jī)產(chǎn)品在視覺(jué)模組領(lǐng)域站穩(wěn)腳跟,逐漸從高端的科研、軍工等領(lǐng)域進(jìn)入工業(yè)級(jí)與消費(fèi)級(jí)市場(chǎng),在實(shí)現(xiàn)基本盈利的同時(shí)打磨“AI+光學(xué)”的核心技術(shù)引擎,嘗試擴(kuò)寬除元相機(jī)以外的產(chǎn)品線。
本成果的重點(diǎn)在于可以對(duì)成像單元進(jìn)行像素級(jí)光學(xué)編碼,并利用光計(jì)算技術(shù)提升成像的效率,通過(guò)“AI+光學(xué)”的雙引擎引領(lǐng)下一代視覺(jué)傳感器的研發(fā)與制造。通過(guò)將現(xiàn)有的“感算分離”設(shè)計(jì)體系升級(jí)為“感算一體”設(shè)計(jì)體系,直面最終商業(yè)場(chǎng)景需求,逆向設(shè)計(jì)與優(yōu)化視覺(jué)模組基本形態(tài)(光學(xué)模組、圖像傳感器、圖像處理芯片與高級(jí)視覺(jué)任務(wù)算法),提供多應(yīng)用場(chǎng)景、高效能的視覺(jué)產(chǎn)品。
由此可以帶來(lái)主要的兩個(gè)應(yīng)用:低數(shù)據(jù)量的高速攝影、高速運(yùn)動(dòng)下的高動(dòng)態(tài)成像。
高速攝像機(jī)市場(chǎng)的阻礙來(lái)自于四個(gè)方面,高成本、高功耗、高數(shù)據(jù)量、高傳輸帶寬。這大大制約了高速相機(jī)領(lǐng)域的廣泛應(yīng)用。本項(xiàng)目研制的元相機(jī)-HFR的差異化優(yōu)勢(shì)為低數(shù)據(jù)量與低功耗,二者將支撐元相機(jī)-HFR實(shí)現(xiàn)長(zhǎng)時(shí)間高速攝影的重要特性,打開(kāi)野外高速攝影、長(zhǎng)時(shí)間高速監(jiān)測(cè)等全新的應(yīng)用領(lǐng)域,支撐未來(lái)低功耗、低數(shù)據(jù)量、低計(jì)算量、高速度、集成化的智能感知設(shè)備的能力提升與應(yīng)用。
高動(dòng)態(tài)成像(HDR)市場(chǎng)中,元相機(jī)將通過(guò)獨(dú)有的逐像素快門(mén)特性,實(shí)現(xiàn)像素級(jí)的曝光量控制,從根源上滿足HDR成像需求。全新的HDR成像策略無(wú)需依賴后續(xù)HDR圖像融合算法,顯著降低系統(tǒng)計(jì)算量與成像時(shí)延,為高幀率HDR成像掃清技術(shù)障礙。元相機(jī)無(wú)需依賴傳統(tǒng)策略中常見(jiàn)的多幀曝光、逐行曝光等方式,從根本上解決現(xiàn)有HDR成像系統(tǒng)中最難以解決的運(yùn)動(dòng)鬼影問(wèn)題。通過(guò)元相機(jī)-HDR版本的低計(jì)算量、低時(shí)延、高幀率、無(wú)運(yùn)動(dòng)鬼影的天然差異化優(yōu)勢(shì),有望在自動(dòng)駕駛、智能安防等領(lǐng)域打開(kāi)工業(yè)級(jí)與消費(fèi)級(jí)市場(chǎng)。
掃碼關(guān)注,查看更多科技成果