Email:[email protected]
一、所屬領(lǐng)域
人工智能、圖像處理、三維重建技術(shù)領(lǐng)域
二、項目介紹 1. 痛點問題 本項預(yù)期成果是解決復(fù)雜場景中目標(biāo)三維數(shù)據(jù)重建、驅(qū)動的關(guān)鍵技術(shù)。 針對實際應(yīng)用中復(fù)雜運動場景,例如剛性運動的交通工具,變形移動行人等,傳統(tǒng)的運動結(jié)構(gòu)恢復(fù)方法在進(jìn)行場景深度求解時無法確定每個單元結(jié)構(gòu)的相對尺度,導(dǎo)致無法對復(fù)雜運動場景進(jìn)行重建。在現(xiàn)有的深度估計、語義分割、位姿估計等相關(guān)技術(shù),存在識別精度低、提取不到關(guān)鍵信息、應(yīng)用場景單一等問題,無法滿足大尺度場景應(yīng)用的需求。 2. 解決方案 本項目成果提出了一套面向目標(biāo)、人體深度數(shù)據(jù)重建技術(shù),有效實現(xiàn)對復(fù)雜運動場景下人、物的深度重建與驅(qū)動,有效解決現(xiàn)實場景目標(biāo)的數(shù)字化模型生成與虛擬場景下的驅(qū)動映射問題。提出多模態(tài)采集、時空復(fù)用編碼攝像方法,獲取大景深、高時空分辨、豐富的精確場景視覺信息,基于超像素關(guān)系分析的深度重建方法,包括目標(biāo)超像素分割,圖像幀匹配,運動關(guān)系判定,通過時序傳播與概率模型更新實現(xiàn)實時深度重建,提高最終三維重建模型的稠密度、魯棒性、一致性和準(zhǔn)確度。構(gòu)建了基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)實例檢測與位姿估計框架,從目標(biāo)對象觀測圖片提取其分割掩碼并不斷迭代更新,輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)而得到目標(biāo)6D位姿估計并進(jìn)行迭代改進(jìn),從而實現(xiàn)目標(biāo)在動態(tài)復(fù)雜場景下的位姿還原,克服了在光照、姿態(tài)變化、遮擋等不良因素環(huán)境下的目標(biāo)位姿不準(zhǔn)確問題,確保了目標(biāo)6D位姿估計的魯棒性與準(zhǔn)確性。 3. 競爭優(yōu)勢分析 與現(xiàn)有的同類技術(shù)相比,本成果在深度重建的精細(xì)度、魯棒性、一致性和準(zhǔn)確度上具有明顯優(yōu)勢,在物體檢測的準(zhǔn)確性、實時性具有明顯優(yōu)勢,在位姿估計中的旋轉(zhuǎn)、平移的解耦表示方法與自監(jiān)督框架,提高了位姿估計的準(zhǔn)確性與實時性,并解決了對大量帶位姿標(biāo)注的真實數(shù)據(jù)的依賴。從而有效實現(xiàn)現(xiàn)實場景模型的數(shù)字化生成與虛擬場景下的模型驅(qū)動映射。 4. 市場應(yīng)用前景 本項成果應(yīng)用領(lǐng)域多元,主力聚焦于元宇宙、數(shù)字城市、自動駕駛、AR/VR、機器人、制造業(yè)等大量依賴三維數(shù)據(jù)生成、識別、檢測、位姿估計與驅(qū)動應(yīng)用的行業(yè)。 5. 發(fā)展規(guī)劃 隨著元宇宙、數(shù)字城市、自動駕駛、AR/VR、機器人、制造業(yè)等概念的興起,行業(yè)生態(tài)即將進(jìn)入爆發(fā)期。團(tuán)隊擬通過技術(shù)許可方式,與多個領(lǐng)域有需求的企業(yè)開展合作,形成一系列獨創(chuàng)的關(guān)鍵技術(shù),產(chǎn)生顯著的經(jīng)濟(jì)和社會效益。 6. 知識產(chǎn)權(quán)情況 已申請相關(guān)發(fā)明專利3項,獲得授權(quán)1項。
三、合作需求 尋求在元宇宙、數(shù)字城市、自動駕駛、AR/VR、機器人、制造業(yè)等領(lǐng)域有相關(guān)技術(shù)開發(fā)、市場推廣經(jīng)驗,能推廣本技術(shù)落地的高科技企業(yè),可以進(jìn)行深度合作。