隨著傳感器等硬件、5G等通信技術以及人工智能等技術的發(fā)展，無人移動端的概念得以落地，并在各行各業(yè)得到廣泛應用，如無人機和無人車等。無人機包含了圖像分類、目標檢測、語義分割等計算機視覺分析應用；無人車功能包含了目標檢測、異常檢測、可駕駛區(qū)域分割等計算機視覺分析應用。卷積神經(jīng)網(wǎng)絡(簡稱為模型)是這些計算機視覺分析應用背后的代表性技術，其通過大量的卷積層、歸一化層、池化層和激活層等對輸入數(shù)據(jù)進行特征提取和降維 (這一過程稱為推理)，最后將人類可讀的圖像數(shù)據(jù)轉化為抽象的數(shù)據(jù)表示，如圖像中物體的所屬類別及位置坐標、視頻中物體運動的軌跡等。在確定卷積神經(jīng)網(wǎng)絡的結構后，利用先前收集到的相關場景數(shù)據(jù)對網(wǎng)絡進行訓練，然后將網(wǎng)絡部署到無人移動端上，即可實現(xiàn)卷積神經(jīng)網(wǎng)絡在無人移動端上的運行。

然而，部署后無人移動端所在的線上環(huán)境存在著各種挑戰(zhàn)，使得卷積神經(jīng)網(wǎng)絡的準確性和可用性受到限制。無人移動端所在地理位置和環(huán)境的不固定，可能處于一個動態(tài)持續(xù)演變的場景中，無人移動端所在場景“持續(xù)變化”，該現(xiàn)象使得無人移動端采集到的圖像數(shù)據(jù)所在分布持續(xù)變化，且與訓練數(shù)據(jù)有較大的差異；卷積神經(jīng)網(wǎng)絡在面對從未見過的數(shù)據(jù)分布時，其準確率會大幅度下降。因此，無人移動端所在場景持續(xù)遷移會大大影響無人移動端的可用性，甚至威脅到人類的安全，解決該問題的關鍵在于，當場景持續(xù)遷移時，其中的卷積神經(jīng)網(wǎng)絡也需要利用不斷采集到的數(shù)據(jù)來訓練自己，使之能不斷適應遷移的場景，這一過程稱之為場景自適應。另一個挑戰(zhàn)是無人移動端通常可用資源少、算力低下和能量有限，傳統(tǒng)的場景自適應技術通常需要大量的時間和極高的算力，難以滿足無人移動端對于快速場景自適應的要求，上述挑戰(zhàn)使得對于面向無人移動端視覺分析的場景自適應系統(tǒng)迫在眉睫。

本成果通過無人移動端中的場景知識提取模塊對原始模型結構進行調整，使之具有產(chǎn)生場景知識的能力，然后該模塊將模型中每個卷積層所產(chǎn)生的場景知識聚合起來，最終產(chǎn)生輕量、具有代表性的場景知識；無人移動端中的場景知識累積模塊首先對知識累積模型進行調優(yōu)，使其提取場景知識的能力持續(xù)得到增強，然后將新場景中提取到的場景知識存儲起來，在持續(xù)的場景變化過程中能夠避免遺忘過去場景中的知識，且能夠加速后續(xù)適應新場景的過程，持續(xù)提升無人移動端中的模型精度，保證無人移動端的功能可用性。同時，系統(tǒng)通過無人移動端中的場景知識提取模塊提取的場景知識輕量、體積小，在持續(xù)的場景變化中場景知識可持續(xù)被提取累積，成本低；輕量的場景知識降低了模型調優(yōu)的成本和時間，并幫助判斷模型中卷積層對于場景變化的敏感性，調優(yōu)時可僅調優(yōu)最敏感的部分卷積層，進一步降低場景自適應的資源占用，保證了無人移動端中進行場景自適應的可行性。

圖1. 面向無人移動端場景自適應的大小模型協(xié)同訓練系統(tǒng)

圖2. 面向Transformer基座大模型的無人的場景自適應系統(tǒng)實現(xiàn)