機械臂無模型視覺反饋控制及其自適應操作應用研究
一、項目簡介 隨著科技進步和社會需求的發(fā)展,機器人手/臂除了工業(yè)生產(chǎn),也越來越多用于服務人類的其它各個領(lǐng)域,這必然會使機器人承擔比工業(yè)中更加多樣的操作任務,面臨更加多變的工作環(huán)境。因此,國內(nèi)外對非結(jié)構(gòu)自然環(huán)境下、具備自主操作能力的機器人的研究十分重視。當前,具備視覺感知能力的機器人已被公認為機器人發(fā)展的主流趨勢,將視覺與機器人操作相融合,是對人類行為的模擬,由此產(chǎn)生的視覺伺服控制方法為機器人自主操作能力的實現(xiàn)帶來了新的思路,代表了機器人的先進控制技術(shù),也是促進機器人智能化發(fā)展的一個重要驅(qū)動。可以預見,未來的視覺系統(tǒng)將會成為機器人名副其實的眼睛,視覺伺服技術(shù)在機器人自主操作中將具有不可替代的作用。 視覺伺服利用視覺傳感器提供的環(huán)境信息對機器人運動進行實時反饋控制,涉及機器人機械幾何設(shè)計、運動學和動力學、自動控制理論、計算機視覺圖像處理和攝像機標定等,是智能機器人領(lǐng)域中具有重要理論意義的研究課題之一。迄今為止,機器人手/臂的視覺伺服方法在太空遙操作、機器人手術(shù)、水果采摘、工業(yè)裝配、焊接、抓取以及微操作等方面得到越來越多的應用。然而,現(xiàn)階段可實際應用的方案主要面向特定的標定環(huán)境、模型參數(shù)已知,機器人操作是編碼定式的,不具備模型未知條件下的自主操作能力,特別是當面向未來的剛-柔-軟體共融機器人時,其柔型結(jié)構(gòu)造成的運動模型及參數(shù)的變化與不確定性,必然使現(xiàn)有確定模型的研究方法失效。因此,無模型(目標幾何模型,手眼標定模型,機器人運動模型)、非結(jié)構(gòu)環(huán)境下的自適應操作對機器人提出了新挑戰(zhàn),是機器人手臂(尤其柔型手臂)視覺伺服控制研究的難點與前沿問題,不斷深入對非結(jié)構(gòu)環(huán)境下、無模型的機器人手/臂視覺伺服控制的研究具有重要的理論和現(xiàn)實意義。 在非結(jié)構(gòu)自然環(huán)境下使機器人像人一樣協(xié)調(diào)自適應操作是當今機器人研究領(lǐng)域的一項尚未實現(xiàn)但又令人感興趣的研究工作。從理論上看,非結(jié)構(gòu)自然環(huán)境下實現(xiàn)機器人柔性操作,就當前研究依靠單一的控制器設(shè)計是困難的。因此,本項目借鑒人的手眼協(xié)調(diào)操作是自適應學習過程,涉及智能進化和行為優(yōu)化,將隨機動態(tài)規(guī)劃理論,結(jié)合約束規(guī)則與最優(yōu)化控制,探索一種變參手眼關(guān)系,實現(xiàn)機器人在非結(jié)構(gòu)自然環(huán)境下的自適應操作。 二、前期研究基礎(chǔ) 研究團隊一直致力于機器人視覺反饋控制的研究。在基礎(chǔ)理論研究上,針對無標定視覺伺服控制方案與設(shè)計,均提出了一些新型方法,有扎實的理論基礎(chǔ)和知識積累,并不斷跟蹤和深入在無模型視覺伺服控制的方面研究和前沿問題。目前,已經(jīng)著手在無模型視覺伺服的可靠性、穩(wěn)定性控制方面做了充分的探索工作:針對機器人無標定全局穩(wěn)定操作問題,研究了一種魯棒卡爾曼濾波(RKF)合作Elman神經(jīng)網(wǎng)絡(luò)(ENN)的全局穩(wěn)定視覺伺服控制方法;提出了一種基于網(wǎng)絡(luò)輔助爾曼濾波狀態(tài)估計的無標定視覺伺服方法,提高伺服系統(tǒng)的魯棒性。同時,立足機器人發(fā)展前沿,建立了多模特征深度學習抓取系統(tǒng),在無結(jié)構(gòu)環(huán)境下實現(xiàn)了機器人智能抓取與定位。 已發(fā)表的與項目相關(guān)的主要論文有: [1] 仲訓杲,徐敏,仲訓昱,彭俠夫.基于多模特征深度學習的機器人抓取判別方法.自動化學報,2016,7(42), pp:1022-1029. (EI) [2] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robots Visual Servo Control with Features Constraint Employing Kalman-Neural-Network Filtering Scheme. Neurocomputing, 2015, 151(3), pp:268-277 (SCI) [3] Xungao Zhong, Xunyu Zhong and Xiafu Peng. Robust Kalman FilteringCooperated Elman Neural Network Learning forVision-Sensing-Based RoboticManipulation with Global Stability. Sensors, 2013, 10(13), pp:13464-13486. (SCI) [4] Xungao Zhong, Xiafu Peng, Xunyu Zhongand Lixiong Lin. Dynamic Jacobian Identification Based on State-Space for Robot Manipulation. Applied Mechanics andMaterials, vols. 475-476 (2014)pp: 675-679.(EI) [5] Xungao Zhong, Xiafu Peng, Xunyu Zhong and Xueren Dong. Multi-Channel with RBF Neural Network Aggregation Based on Disparity Space for Color Image Stereo Matching. IEEE 5th International Conference on Advanced Computational Intelligence (ICACI), 10(2012) PP:620-625. (EI) [6]XUNGAO ZHONG, XIAFU PENG, XUNYU ZHONG. NEURAL-BAYESIAN FILTERING BASED ON MONTE CARLO RESAMPLING FOR VISUAL ROBUST TRACKING. Journal of Theoretical and Applied Information Technology, 2013, 2(50), pp: 490-496. [7] Xungao Zhong, Xiafu Peng and Xunyu Zhong. Severe-Dynamic Tracking Problems Based on Lower Particles Resampling. TELKOMNIKA Indonesian Journal of Electrical Engineering. 2014, 12(6), pp:4731-4739. [8] Xunyu Zhong, Xungao Zhong and Xiafu Peng. Velocity-Change-Space-based Dynamic Motion Planning for Mobile Robots Navigation. Neurocomputing. 2014, 143(11), pp:153-163. (SCI) [9] Xunyu Zhong, Xungao Zhong, Xiafu Peng. VCS-based motion planning for distributed mobile robots: collision avoidance and formation. Soft Computing,2016,5(20), pp: 1897-1908. (SCI) [10] 仲訓杲,徐敏, 仲訓昱, 彭俠夫. 基于雅可比預測的機器人無模型視覺伺服定位控制, 控制與決策, 已在線發(fā)表, 2018. [11] 仲訓杲,徐敏, 仲訓昱, 彭俠夫. 基于圖像的機器人非標定視覺反饋控制全局定位方法, 廈門大學學報(自然科學版), 已錄用, 2018. 三、應用技術(shù)成果 (一)基于多模特征深度學習的機器人抓取判別 研究了多模特征深度學習及其在機器人智能抓取判別中的應用,該方法針對智能機器人抓取判別問題, 研究多模特征深度學習與融合方法. 該方法將測試特征分布偏離訓練特征視為一類噪化, 引入帶稀疏約束的降噪自動編碼 (Denoising auto-encoding, DAE), 實現(xiàn)網(wǎng)絡(luò)權(quán)值學習; 并以疊層融合策略, 獲取初始多模特征的深層抽象表達, 兩種手段相結(jié)合旨在提高深度網(wǎng)絡(luò)的魯棒性和抓取判別精確性. 實驗采用深度攝像機與 6 自由度工業(yè)機器人組建測試平臺, 對不同類別目標進行在線對比實驗. 結(jié)果表明, 設(shè)計的多模特征深度學習依據(jù)人的抓取習慣, 實現(xiàn)最優(yōu)抓取判別, 并且機器人成功實施抓取定位, 研究方法對新目標具備良好的抓取判別能力. (二)無標定視覺伺服解決方案及其機器人操作應用 研究了無標定視覺伺服方法及其在機械臂任務操作中的應用。首先提出視覺伺服目標:假設(shè)機器人或者攝像節(jié)的模型參數(shù)未知或者部分未知,視覺伺服的目標是使用攝像節(jié)作為傳感器,引導機械臂運動,使當前圖像特征收斂到期望圖像特征,從而完成定位或者跟蹤的任務。 手眼協(xié)調(diào)關(guān)系描述。關(guān)節(jié)圖像雅克比矩陣定量描述了機械臂關(guān)節(jié)變化引起圖像特征變化,它是關(guān)節(jié)-圖像映射的局部線性化矩陣。 建立圖像雅克比的在線估計器。將關(guān)節(jié)圖像雅克比矩陣的每一個元素作為輔助系統(tǒng)的狀態(tài),建立輔助系統(tǒng)的狀態(tài)方程;攝像機提取到的圖像特征作為測量值,建立輔助系統(tǒng)的觀測方程。根據(jù)Kalman濾波器理論,我們設(shè)計了對關(guān)節(jié)圖像雅克比的在線實時估計算法。 構(gòu)建基于圖像矩的目標函數(shù)。為了避免傳統(tǒng)的基于點特征的缺陷,例如點特征的標記、提取與匹配過程復雜且通用性較差問題。構(gòu)建基于圖像矩的圖像特征向量完成視覺伺服任務,來提高視覺伺服系統(tǒng)的穩(wěn)定性和可靠性。 四、合作企業(yè) 廈門萬久科技股份有限公司是一家集銷售、軟件研發(fā)、技術(shù)服務、加工技術(shù)整合為一體的高新技術(shù)企業(yè)。目前公司的經(jīng)營范圍涉及CNC軟件開發(fā)及數(shù)控系統(tǒng)銷售、CNC控制零件銷售及專業(yè)維修;工藝優(yōu)化、機臺升級與技術(shù)改造、工程配電與軟件優(yōu)化、專用機控制系統(tǒng)開發(fā)、多軸機的設(shè)計與開發(fā)、機臺精度檢測與校正優(yōu)化服務等。公司是國際知名生產(chǎn)制造企業(yè)——富士康的產(chǎn)品供應商和技術(shù)服務商。
廈門大學
2021-04-11