一、項(xiàng)目簡(jiǎn)介

隨著科技進(jìn)步和社會(huì)需求的發(fā)展，機(jī)器人手/臂除了工業(yè)生產(chǎn)，也越來(lái)越多用于服務(wù)人類(lèi)的其它各個(gè)領(lǐng)域，這必然會(huì)使機(jī)器人承擔(dān)比工業(yè)中更加多樣的操作任務(wù)，面臨更加多變的工作環(huán)境。因此，國(guó)內(nèi)外對(duì)非結(jié)構(gòu)自然環(huán)境下、具備自主操作能力的機(jī)器人的研究十分重視。當(dāng)前，具備視覺(jué)感知能力的機(jī)器人已被公認(rèn)為機(jī)器人發(fā)展的主流趨勢(shì)，將視覺(jué)與機(jī)器人操作相融合，是對(duì)人類(lèi)行為的模擬，由此產(chǎn)生的視覺(jué)伺服控制方法為機(jī)器人自主操作能力的實(shí)現(xiàn)帶來(lái)了新的思路，代表了機(jī)器人的先進(jìn)控制技術(shù)，也是促進(jìn)機(jī)器人智能化發(fā)展的一個(gè)重要驅(qū)動(dòng)。可以預(yù)見(jiàn)，未來(lái)的視覺(jué)系統(tǒng)將會(huì)成為機(jī)器人名副其實(shí)的眼睛，視覺(jué)伺服技術(shù)在機(jī)器人自主操作中將具有不可替代的作用。

視覺(jué)伺服利用視覺(jué)傳感器提供的環(huán)境信息對(duì)機(jī)器人運(yùn)動(dòng)進(jìn)行實(shí)時(shí)反饋控制，涉及機(jī)器人機(jī)械幾何設(shè)計(jì)、運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)、自動(dòng)控制理論、計(jì)算機(jī)視覺(jué)圖像處理和攝像機(jī)標(biāo)定等,是智能機(jī)器人領(lǐng)域中具有重要理論意義的研究課題之一。迄今為止，機(jī)器人手/臂的視覺(jué)伺服方法在太空遙操作、機(jī)器人手術(shù)、水果采摘、工業(yè)裝配、焊接、抓取以及微操作等方面得到越來(lái)越多的應(yīng)用。然而，現(xiàn)階段可實(shí)際應(yīng)用的方案主要面向特定的標(biāo)定環(huán)境、模型參數(shù)已知，機(jī)器人操作是編碼定式的，不具備模型未知條件下的自主操作能力，特別是當(dāng)面向未來(lái)的剛-柔-軟體共融機(jī)器人時(shí)，其柔型結(jié)構(gòu)造成的運(yùn)動(dòng)模型及參數(shù)的變化與不確定性，必然使現(xiàn)有確定模型的研究方法失效。因此，無(wú)模型（目標(biāo)幾何模型，手眼標(biāo)定模型，機(jī)器人運(yùn)動(dòng)模型）、非結(jié)構(gòu)環(huán)境下的自適應(yīng)操作對(duì)機(jī)器人提出了新挑戰(zhàn)，是機(jī)器人手臂(尤其柔型手臂)視覺(jué)伺服控制研究的難點(diǎn)與前沿問(wèn)題，不斷深入對(duì)非結(jié)構(gòu)環(huán)境下、無(wú)模型的機(jī)器人手/臂視覺(jué)伺服控制的研究具有重要的理論和現(xiàn)實(shí)意義。

在非結(jié)構(gòu)自然環(huán)境下使機(jī)器人像人一樣協(xié)調(diào)自適應(yīng)操作是當(dāng)今機(jī)器人研究領(lǐng)域的一項(xiàng)尚未實(shí)現(xiàn)但又令人感興趣的研究工作。從理論上看，非結(jié)構(gòu)自然環(huán)境下實(shí)現(xiàn)機(jī)器人柔性操作，就當(dāng)前研究依靠單一的控制器設(shè)計(jì)是困難的。因此，本項(xiàng)目借鑒人的手眼協(xié)調(diào)操作是自適應(yīng)學(xué)習(xí)過(guò)程，涉及智能進(jìn)化和行為優(yōu)化，將隨機(jī)動(dòng)態(tài)規(guī)劃理論，結(jié)合約束規(guī)則與最優(yōu)化控制，探索一種變參手眼關(guān)系，實(shí)現(xiàn)機(jī)器人在非結(jié)構(gòu)自然環(huán)境下的自適應(yīng)操作。

二、前期研究基礎(chǔ)

研究團(tuán)隊(duì)一直致力于機(jī)器人視覺(jué)反饋控制的研究。在基礎(chǔ)理論研究上，針對(duì)無(wú)標(biāo)定視覺(jué)伺服控制方案與設(shè)計(jì)，均提出了一些新型方法，有扎實(shí)的理論基礎(chǔ)和知識(shí)積累，并不斷跟蹤和深入在無(wú)模型視覺(jué)伺服控制的方面研究和前沿問(wèn)題。目前，已經(jīng)著手在無(wú)模型視覺(jué)伺服的可靠性、穩(wěn)定性控制方面做了充分的探索工作：針對(duì)機(jī)器人無(wú)標(biāo)定全局穩(wěn)定操作問(wèn)題，研究了一種魯棒卡爾曼濾波(RKF)合作Elman神經(jīng)網(wǎng)絡(luò)(ENN)的全局穩(wěn)定視覺(jué)伺服控制方法；提出了一種基于網(wǎng)絡(luò)輔助爾曼濾波狀態(tài)估計(jì)的無(wú)標(biāo)定視覺(jué)伺服方法，提高伺服系統(tǒng)的魯棒性。同時(shí)，立足機(jī)器人發(fā)展前沿，建立了多模特征深度學(xué)習(xí)抓取系統(tǒng)，在無(wú)結(jié)構(gòu)環(huán)境下實(shí)現(xiàn)了機(jī)器人智能抓取與定位。

已發(fā)表的與項(xiàng)目相關(guān)的主要論文有：

[1] 仲訓(xùn)杲,徐敏,仲訓(xùn)昱,彭俠夫.基于多模特征深度學(xué)習(xí)的機(jī)器人抓取判別方法.自動(dòng)化學(xué)報(bào),2016,7(42), pp:1022-1029. (EI)

[2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI) 

[3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI)

[4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI)

[5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI)

[6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496.

[7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739.

[8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI)

[9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI)

[10] 仲訓(xùn)杲,徐敏, 仲訓(xùn)昱, 彭俠夫. 基于雅可比預(yù)測(cè)的機(jī)器人無(wú)模型視覺(jué)伺服定位控制, 控制與決策, 已在線發(fā)表, 2018.

[11] 仲訓(xùn)杲,徐敏, 仲訓(xùn)昱, 彭俠夫. 基于圖像的機(jī)器人非標(biāo)定視覺(jué)反饋控制全局定位方法, 廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版), 已錄用, 2018.

三、應(yīng)用技術(shù)成果

（一）基于多模特征深度學(xué)習(xí)的機(jī)器人抓取判別

研究了多模特征深度學(xué)習(xí)及其在機(jī)器人智能抓取判別中的應(yīng)用，該方法針對(duì)智能機(jī)器人抓取判別問(wèn)題, 研究多模特征深度學(xué)習(xí)與融合方法. 該方法將測(cè)試特征分布偏離訓(xùn)練特征視為一類(lèi)噪化, 引入帶稀疏約束的降噪自動(dòng)編碼 (Denoising auto-encoding, DAE), 實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)值學(xué)習(xí); 并以疊層融合策略, 獲取初始多模特征的深層抽象表達(dá), 兩種手段相結(jié)合旨在提高深度網(wǎng)絡(luò)的魯棒性和抓取判別精確性. 實(shí)驗(yàn)采用深度攝像機(jī)與 6 自由度工業(yè)機(jī)器人組建測(cè)試平臺(tái), 對(duì)不同類(lèi)別目標(biāo)進(jìn)行在線對(duì)比實(shí)驗(yàn). 結(jié)果表明, 設(shè)計(jì)的多模特征深度學(xué)習(xí)依據(jù)人的抓取習(xí)慣, 實(shí)現(xiàn)最優(yōu)抓取判別, 并且機(jī)器人成功實(shí)施抓取定位, 研究方法對(duì)新目標(biāo)具備良好的抓取判別能力.

（二）無(wú)標(biāo)定視覺(jué)伺服解決方案及其機(jī)器人操作應(yīng)用

研究了無(wú)標(biāo)定視覺(jué)伺服方法及其在機(jī)械臂任務(wù)操作中的應(yīng)用。首先提出視覺(jué)伺服目標(biāo)：假設(shè)機(jī)器人或者攝像節(jié)的模型參數(shù)未知或者部分未知，視覺(jué)伺服的目標(biāo)是使用攝像節(jié)作為傳感器，引導(dǎo)機(jī)械臂運(yùn)動(dòng)，使當(dāng)前圖像特征收斂到期望圖像特征，從而完成定位或者跟蹤的任務(wù)。

手眼協(xié)調(diào)關(guān)系描述。關(guān)節(jié)圖像雅克比矩陣定量描述了機(jī)械臂關(guān)節(jié)變化引起圖像特征變化，它是關(guān)節(jié)-圖像映射的局部線性化矩陣。

建立圖像雅克比的在線估計(jì)器。將關(guān)節(jié)圖像雅克比矩陣的每一個(gè)元素作為輔助系統(tǒng)的狀態(tài)，建立輔助系統(tǒng)的狀態(tài)方程；攝像機(jī)提取到的圖像特征作為測(cè)量值，建立輔助系統(tǒng)的觀測(cè)方程。根據(jù)Kalman濾波器理論，我們?cè)O(shè)計(jì)了對(duì)關(guān)節(jié)圖像雅克比的在線實(shí)時(shí)估計(jì)算法。

構(gòu)建基于圖像矩的目標(biāo)函數(shù)。為了避免傳統(tǒng)的基于點(diǎn)特征的缺陷，例如點(diǎn)特征的標(biāo)記、提取與匹配過(guò)程復(fù)雜且通用性較差問(wèn)題。構(gòu)建基于圖像矩的圖像特征向量完成視覺(jué)伺服任務(wù)，來(lái)提高視覺(jué)伺服系統(tǒng)的穩(wěn)定性和可靠性。

四、合作企業(yè)

廈門(mén)萬(wàn)久科技股份有限公司是一家集銷(xiāo)售、軟件研發(fā)、技術(shù)服務(wù)、加工技術(shù)整合為一體的高新技術(shù)企業(yè)。目前公司的經(jīng)營(yíng)范圍涉及CNC軟件開(kāi)發(fā)及數(shù)控系統(tǒng)銷(xiāo)售、CNC控制零件銷(xiāo)售及專(zhuān)業(yè)維修；工藝優(yōu)化、機(jī)臺(tái)升級(jí)與技術(shù)改造、工程配電與軟件優(yōu)化、專(zhuān)用機(jī)控制系統(tǒng)開(kāi)發(fā)、多軸機(jī)的設(shè)計(jì)與開(kāi)發(fā)、機(jī)臺(tái)精度檢測(cè)與校正優(yōu)化服務(wù)等。公司是國(guó)際知名生產(chǎn)制造企業(yè)——富士康的產(chǎn)品供應(yīng)商和技術(shù)服務(wù)商。