導讀

東北電力大學和長春理工大學研究團隊開發并實現一種結合腦電圖源成像(ESI)技術和卷積神經網絡(CNN)的新方法，以對運動想象(MI)任務進行分類。ESI技術采用邊界元法(BEM)和加權最小范數估計(WMNE)分別解決EEG的正向和逆向問題。然后在運動皮層中創建十個scout來選擇感興趣的區域(ROI)。研究者使用Morlet小波方法從scout的時間序列中提取特征。最后，使用CNN對MI任務進行分類。

實驗結果:在Physionet數據庫上的整體平均準確率達到94.5%，分別對左拳頭、右拳頭、雙拳和雙腳的單個準確率達到95.3%、93.3%、93.6%、96%，采用十倍交叉驗證進行驗證。研究人員表示，他們的研究成果與最先進的MI分類方法的結果相比，總體分類增加了14.4%。研究者為驗證方法的有效性，加入了4個新的受試者進行驗證，發現總體平均準確率為92.5%。此外，全局分類器適應單一對象，整體平均準確率提高到94.54%。研究者表示，他們提出的結合scout ESI和CNN的方法，提高了腦電解碼四類MI任務的BCI性能。

系統框架

圖1 系統框架圖

系統框架如圖1所示。原始數據來自國際10-10系統的64個電極(不包括Nz、F9、F10、FT9、FT10、A1、A2、TP9、TP10、P9和P10電極)，并以每秒160個樣本的速度采集。

根據國際10-10系統從64個通道采集原始腦電圖，并使用BCI2000系統進行記錄。記錄的數據被分為四個獨立MI任務包括左拳MI,右拳MI,雙拳MI和雙腳MI。首先，由于ERD在執行運動想象時在alpha和beta中不同，因此使用FIR濾波器對EEG進行了8 Hz至30 Hz的帶通濾波。然后，通過計算包含正問題和逆問題的源，將傳感器空間的活動轉化為源空間的活動。接下來，創建scout并提取特征。

研究者在運動皮層中創建了10個scout，因為我們只關心與運動相關的活動。十個scout中的每一個都代表了可用源空間中的一個感興趣的區域(ROI)，并且是定義在皮層表面或頭部體積上的偶極子的子集。左腦的scout稱為L1、L2、L3、L4、L5，右腦的scout稱為R1、R2、R3、R4、R5。利用JTFA從10個scout的源時間序列中提取特征。最后，利用CNN對時頻圖進行分離并進行分類。

實驗

在實驗中，研究人員僅使用了隨機選擇的十個受試者的MI trail (S5，S6，S7，S8，S9，S10，S11，S12，S13，S14)。這里用于分析的數據集包含每個受試者84次試驗，每一類包含21次試驗。在記錄64通道腦電圖時，受試者執行了不同的運動想象任務。

每個受試者針對以下四個任務中的每一個執行了3輪21試驗：

當目標出現在屏幕左側時，受試者想象打開和合上相應的拳頭，直到目標消失。然后受試者放松。

當目標出現在屏幕的右側時，受試者想象打開和合上相應的拳頭，直到目標消失。然后受試者放松。

當目標出現在屏幕頂部時，受試者想象打開和合上雙手的拳頭，直到目標消失。然后受試者放松。

當目標出現在屏幕底部時，目標會想象雙腳張開和合攏，直到目標消失。然后受試者放松。

為了統一數據維數，研究者選擇了4s的數據，因為每次想象任務的執行時間都在4s左右。此外，腦電圖任務是分開的，研究人員在實驗中將左拳，右拳，雙拳和雙腳MI任務分別稱為T1，T2，T3和T4。

圖2 scout命名

左右運動想象的scout分別命名為L1、L2、L3、L4、L5、R1、R2、R3、R4、R5，如圖2所示。10個scout每一個都被擴展到40個頂點，每個頂點只有一個源。L1區域對應40個信號，其他scout也一樣。在計算了來源后，研究者在運動皮層中創建了十個scout，如圖3所示。

圖3 創建10個scout

使用ESI計算十個受試者(S5、S6、S7、S8、S9、S10、S11、S12、S13、S14)每次試驗的四個任務(T1、T2、T3、T4)的源。對于這四項任務中的每一項，每個受試者每次都要進行7次測試(#1，#2，#3，#4，#5，#6，#7)。展示了第一個步的10個被試的10個scout的4項任務的來源。然后提取10個scout的時間序列進行進一步分析。

特征提取

在計算源之后，研究人員在運動皮層中創建了包含40個源的10個scout，并提取了scout的時間序列。如圖4所示為提取R5 scout時間序列作為示例。圖的右邊顯示了R5 scout的時間序列。本文利用小波變換從scout時間序列中提取特征。

圖4 提取R5 scout時間序列作為示例

在這項研究中，研究者提出利用CNN來解決運動想象任務分類的問題。該模型基于Schirrmeister等提出的Deep ConvNet架構，該網絡模型由一個六層卷積網絡組成，其中兩個最大池層和三個全連接層，如圖5所示。

圖5

對于Physionet數據庫，研究者首先采用Deep ConvNet架構，包括四個卷積層、四個最大池層和一個全連接層。在實驗中，研究者依據經驗使用兩個最大池化層。并嘗試了不同數量的卷積層和完全連接層。

時頻圖

利用Morlet小波方法得到了scout的特征。對于每個任務，R5 scout的時頻圖如圖6所示。包含時間和頻率互補的時頻分析方法提供了時域和頻域的聯合分布信息，清晰地描述了信號頻率與時間的關系。

圖6 R5 scout的時頻圖

顯然，只有部分時頻映射是紅色的，表明每個任務只對特定的頻率和時間敏感。由于圖的數量比較大，研究者使用CNN來選擇和學習這些圖中最基本的特征。

研究人員隨機選擇了幾個樣本，并將一些特征圖可視化，作為MI任務的學習表示，如圖7所示。

圖7

為了獲得有效的結果，將數據集分為90％作為訓練集，其余10％作為測試集。首先，將十個受試者的數據集（總共19320個樣本）分為17388個樣本以訓練所提出的CNN模型，以及1932個樣本以驗證模型的有效性。在實驗中，研究者還選擇了另外四個受試者的數據集以增加數據集的規模(27048個樣本)，其中24343個樣本是訓練集，其他樣本是測試集。

在選定的scout上對所提出的CNN架構進行了十次訓練和測試，以驗證所提出模型的魯棒性。圖8(a)顯示了10個scout中每個的全局平均精度。

圖8 統計結果

R5的全局平均精度最高，達到94.5%，而L2的全局平均精度最低，為91.3%。對應L1、L3、L4、L5、R1、R2、R3、R4的整體準確率分別為92.4%、92.5%、93.6%、91.9%、93.0%、91.8%、92.1%、92.6%。所有scout的總體精度均在91%以上，標準差均在0.20%以下。圖8(b)顯示了十個scout中每個scout四個MI任務的組級統計結果及其標準差。一般來說，R5表現的要比其他的好，而L2在迭代2000中表現最差。標準差較小，說明這些精度更接近平均值且穩定。

圖9 統計結果

圖9(a)顯示了帶有標準差的混淆矩陣，說明了group level分類結果。T1、T2、T3和T4的全局平均精度峰值分別為95.3%、93.3%、93.6%和96.0%。R5 scout的四個MI任務中的每一個都如圖9(b)所示。通過改變訓練集和測試集順序的10次試驗，確定了scoutR5的性能，結果如圖10(a)和(b)所示。在10次試驗中，scout R5的T1、T2、T3、T4的平均準確率分別為93.3%、93.8%、94.2%、94.1%。換句話說，四個任務中每一個的平均準確率都超過了93%。全局平均準確率為93.7%。10次試驗結果表明，該方法對scout R5的分類效果較好。從以上結果可以清楚地看出，R5 scout在四種MI任務的分類中扮演著最重要的角色。因此，選擇R5對四個MI任務進行分類。

圖 10

圖11. (a)是不同模型的全局平均準確性的比較。可以發現，該研究提出的模型可以達到最大的精度。從圖11. (b)不同模型的ROC曲線可以看出提出的模型比其他模型表現更好。?不同模型T1上的精度比較。(d)不同模型T2的精度比較。(e)不同模型T3的精度比較。(f)不同型號T4的精度比較。

圖11 不同模型的精度比較

結論

東北電力大學和長春理工大學研究團隊開發并實現一種結合腦電圖源成像(ESI)技術和卷積神經網絡(CNN)的新方法。該方法可以對運動想象(MI)任務進行分類。實驗結果表明，他們的研究成果與最先進的MI分類方法的結果相比，總體分類增加了14.4%。研究者加入了4個新的受試者進行驗證來驗證方法的有效性。研究者表示，他們提出的結合scout ESI和CNN的方法，提高了腦電解碼四類MI任務的BCI性能。

論文信息：

A novel approach of decoding EEG four-class motor imagery tasks via scout ESI and CNN