機(jī)器人運(yùn)動(dòng)避障與虛擬形象合成技術(shù)
1.痛點(diǎn)問題
擬人化的智能體,在人類生活中開始起到越來越重要的輔助工作、提升生產(chǎn)力和情感交流等作用。具體形式包括實(shí)體化的機(jī)器人和虛擬的數(shù)字人形象兩種形式。
在實(shí)體化的機(jī)器人技術(shù)中,由于各行業(yè)場景范圍的多樣性,移動(dòng)機(jī)器人的避障問題是阻礙機(jī)器人廣泛應(yīng)用的一大痛點(diǎn)。
(1)基于視覺信息和深度強(qiáng)化學(xué)習(xí)來解決移動(dòng)機(jī)器人避障問題,會因?yàn)榉抡鏀?shù)據(jù)與真實(shí)數(shù)據(jù)的較大差別而導(dǎo)致泛化性能不足,使得真實(shí)場景下的避障的成功率下降。
(2)目前避障問題中的深度強(qiáng)化學(xué)習(xí)往往需要針對不同復(fù)雜程度的場景重新訓(xùn)練或者再訓(xùn)練模型,難以訓(xùn)練出適用各種密度場景的通用模型。
(3)基于雷達(dá)的深度強(qiáng)化學(xué)習(xí)避障方法受限于成本、功耗和仿真的難度等,往往使用單線雷達(dá)。但單線雷達(dá)僅能對某個(gè)固定的平面進(jìn)行檢測,如果移動(dòng)機(jī)器人具有較高的高度,只對某個(gè)平面檢測無法實(shí)現(xiàn)完美的避障。
此外,隨著虛擬形象在金融、文旅、醫(yī)療、零售等領(lǐng)域的推廣與應(yīng)用,數(shù)字虛擬形象產(chǎn)業(yè)應(yīng)用路線逐漸清晰,但仍存在產(chǎn)業(yè)鏈相對割裂、產(chǎn)品與需求匹配度低、生產(chǎn)成本高效率低、虛擬形象交互能力弱的問題。
2.解決方案
針對現(xiàn)有技術(shù)存在的問題,本成果的解決方案從兩方面入手。首先,在移動(dòng)機(jī)器人避障方面,本成果設(shè)計(jì)了一種同時(shí)結(jié)合單線雷達(dá)與單目相機(jī)的避障方法框架,并設(shè)計(jì)了新的更有效的深度強(qiáng)化學(xué)習(xí)模型。其次,本成果還提供一種虛擬形象說話視頻生成方法及系統(tǒng),使用深度學(xué)習(xí)方法,基于訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)語音模型,對預(yù)設(shè)音頻文件進(jìn)行預(yù)測處理,通過在說話視頻生成過程中引入三維人臉信息,并結(jié)合神經(jīng)網(wǎng)絡(luò)模型生成頭部姿勢自然轉(zhuǎn)動(dòng)且具有個(gè)性化說話習(xí)慣的說話視頻。上述算法可搭載于通用硬件平臺,構(gòu)建低成本高效的虛擬形象視頻生成系統(tǒng)。
基于以上科研成果,本項(xiàng)目將致力于國民經(jīng)濟(jì)各主流行業(yè)的數(shù)字化轉(zhuǎn)型,在人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺技術(shù)等領(lǐng)域持續(xù)積累智能場景應(yīng)用創(chuàng)新技術(shù),結(jié)合優(yōu)秀的前沿技術(shù)整合與應(yīng)用開發(fā)融合能力和深厚的市場推廣能力,全力打造智能巡檢/服務(wù)/協(xié)作機(jī)器人和虛擬人平臺等軟硬件一體化解決方案。以實(shí)體機(jī)器人并搭載虛擬說話人虛體,通過實(shí)體、虛體相結(jié)合的方式打造獨(dú)一無二、具有全新體驗(yàn)的智能巡檢/服務(wù)/協(xié)作機(jī)器人,提高智能巡檢/服務(wù)/協(xié)作過程中交互的效率與質(zhì)量。
合作需求
尋求在清潔能源、儲能、新能源等行業(yè)智能運(yùn)維部門和相關(guān)企業(yè)合作,對相關(guān)技術(shù)進(jìn)行推廣應(yīng)用,在清潔能源、儲能、新能源等行業(yè)中部署巡檢/服務(wù)/協(xié)作機(jī)器人以及虛擬人服務(wù)平臺,打造無人值守范例,賦能智能化運(yùn)維,共同推動(dòng)行業(yè)進(jìn)步。
清華大學(xué)
2022-07-08