一種通過scout ESI和CNN解碼EEG運(yùn)動(dòng)想象四分類任務(wù)的新方法
導(dǎo)讀東北電力大學(xué)和長(zhǎng)春理工大學(xué)研究團(tuán)隊(duì)開發(fā)并實(shí)現(xiàn)一種結(jié)合腦電圖源成像(ESI)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新方法,以對(duì)運(yùn)動(dòng)想象(MI)任務(wù)進(jìn)行分類。ESI技術(shù)采用邊界元法(BEM)和加權(quán)最小范數(shù)估計(jì)(WMNE)分別解決EEG的正向和逆向問題。然后在運(yùn)動(dòng)皮層中創(chuàng)建十個(gè)scout來選擇感興趣的區(qū)域(ROI)。研究者使用Morlet小波方法從scout的時(shí)間序列中提取特征。最后,使用CNN對(duì)MI任務(wù)進(jìn)行分類。實(shí)驗(yàn)結(jié)果:在Physionet數(shù)據(jù)庫(kù)上的整體平均準(zhǔn)確率達(dá)到94.5%,分別對(duì)左拳頭、右拳頭、雙拳和雙腳的單個(gè)準(zhǔn)確率達(dá)到95.3%、93.3%、93.6%、96%,采用十倍交叉驗(yàn)證進(jìn)行驗(yàn)證。研究人員表示,他們的研究成果與最先進(jìn)的MI分類方法的結(jié)果相比,總體分類增加了14.4%。研究者為驗(yàn)證方法的有效性,加入了4個(gè)新的受試者進(jìn)行驗(yàn)證,發(fā)現(xiàn)總體平均準(zhǔn)確率為92.5%。此外,全局分類器適應(yīng)單一對(duì)象,整體平均準(zhǔn)確率提高到94.54%。研究者表示,他們提出的結(jié)合scout ESI和CNN的方法,提高了腦電解碼四類MI任務(wù)的BCI性能。系統(tǒng)框架圖1 系統(tǒng)框架圖系統(tǒng)框架如圖1所示。原始數(shù)據(jù)來自國(guó)際10-10系統(tǒng)的64個(gè)電極(不包括Nz、F9、F10、FT9、FT10、A1、A2、TP9、TP10、P9和P10電極),并以每秒160個(gè)樣本的速度采集。根據(jù)國(guó)際10-10系統(tǒng)從64個(gè)通道采集原始腦電圖,并使用BCI2000系統(tǒng)進(jìn)行記錄。記錄的數(shù)據(jù)被分為四個(gè)獨(dú)立MI任務(wù)包括左拳MI,右拳MI,雙拳MI和雙腳MI。首先,由于ERD在執(zhí)行運(yùn)動(dòng)想象時(shí)在alpha和beta中不同,因此使用FIR濾波器對(duì)EEG進(jìn)行了8 Hz至30 Hz的帶通濾波。然后,通過計(jì)算包含正問題和逆問題的源,將傳感器空間的活動(dòng)轉(zhuǎn)化為源空間的活動(dòng)。接下來,創(chuàng)建scout并提取特征。研究者在運(yùn)動(dòng)皮層中創(chuàng)建了10個(gè)scout,因?yàn)槲覀冎魂P(guān)心與運(yùn)動(dòng)相關(guān)的活動(dòng)。十個(gè)scout中的每一個(gè)都代表了可用源空間中的一個(gè)感興趣的區(qū)域(ROI),并且是定義在皮層表面或頭部體積上的偶極子的子集。左腦的scout稱為L(zhǎng)1、L2、L3、L4、L5,右腦的scout稱為R1、R2、R3、R4、R5。利用JTFA從10個(gè)scout的源時(shí)間序列中提取特征。最后,利用CNN對(duì)時(shí)頻圖進(jìn)行分離并進(jìn)行分類。實(shí)驗(yàn)在實(shí)驗(yàn)中,研究人員僅使用了隨機(jī)選擇的十個(gè)受試者的MI trail (S5,S6,S7,S8,S9,S10,S11,S12,S13,S14)。這里用于分析的數(shù)據(jù)集包含每個(gè)受試者84次試驗(yàn),每一類包含21次試驗(yàn)。在記錄64通道腦電圖時(shí),受試者執(zhí)行了不同的運(yùn)動(dòng)想象任務(wù)。每個(gè)受試者針對(duì)以下四個(gè)任務(wù)中的每一個(gè)執(zhí)行了3輪21試驗(yàn):當(dāng)目標(biāo)出現(xiàn)在屏幕左側(cè)時(shí),受試者想象打開和合上相應(yīng)的拳頭,直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕的右側(cè)時(shí),受試者想象打開和合上相應(yīng)的拳頭,直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕頂部時(shí),受試者想象打開和合上雙手的拳頭,直到目標(biāo)消失。然后受試者放松。當(dāng)目標(biāo)出現(xiàn)在屏幕底部時(shí),目標(biāo)會(huì)想象雙腳張開和合攏,直到目標(biāo)消失。然后受試者放松。為了統(tǒng)一數(shù)據(jù)維數(shù),研究者選擇了4s的數(shù)據(jù),因?yàn)槊看蜗胂笕蝿?wù)的執(zhí)行時(shí)間都在4s左右。此外,腦電圖任務(wù)是分開的,研究人員在實(shí)驗(yàn)中將左拳,右拳,雙拳和雙腳MI任務(wù)分別稱為T1,T2,T3和T4。圖2 scout命名左右運(yùn)動(dòng)想象的scout分別命名為L(zhǎng)1、L2、L3、L4、L5、R1、R2、R3、R4、R5,如圖2所示。10個(gè)scout每一個(gè)都被擴(kuò)展到40個(gè)頂點(diǎn),每個(gè)頂點(diǎn)只有一個(gè)源。L1區(qū)域?qū)?yīng)40個(gè)信號(hào),其他scout也一樣。在計(jì)算了來源后,研究者在運(yùn)動(dòng)皮層中創(chuàng)建了十個(gè)scout,如圖3所示。圖3 創(chuàng)建10個(gè)scout使用ESI計(jì)算十個(gè)受試者(S5、S6、S7、S8、S9、S10、S11、S12、S13、S14)每次試驗(yàn)的四個(gè)任務(wù)(T1、T2、T3、T4)的源。對(duì)于這四項(xiàng)任務(wù)中的每一項(xiàng),每個(gè)受試者每次都要進(jìn)行7次測(cè)試(#1,#2,#3,#4,#5,#6,#7)。展示了第一個(gè)步的10個(gè)被試的10個(gè)scout的4項(xiàng)任務(wù)的來源。然后提取10個(gè)scout的時(shí)間序列進(jìn)行進(jìn)一步分析。特征提取在計(jì)算源之后,研究人員在運(yùn)動(dòng)皮層中創(chuàng)建了包含40個(gè)源的10個(gè)scout,并提取了scout的時(shí)間序列。如圖4所示為提取R5 scout時(shí)間序列作為示例。圖的右邊顯示了R5 scout的時(shí)間序列。本文利用小波變換從scout時(shí)間序列中提取特征。圖4 提取R5 scout時(shí)間序列作為示例在這項(xiàng)研究中,研究者提出利用CNN來解決運(yùn)動(dòng)想象任務(wù)分類的問題。該模型基于Schirrmeister等提出的Deep ConvNet架構(gòu),該網(wǎng)絡(luò)模型由一個(gè)六層卷積網(wǎng)絡(luò)組成,其中兩個(gè)最大池層和三個(gè)全連接層,如圖5所示。圖5對(duì)于Physionet數(shù)據(jù)庫(kù),研究者首先采用Deep ConvNet架構(gòu),包括四個(gè)卷積層、四個(gè)最大池層和一個(gè)全連接層。在實(shí)驗(yàn)中,研究者依據(jù)經(jīng)驗(yàn)使用兩個(gè)最大池化層。并嘗試了不同數(shù)量的卷積層和完全連接層。時(shí)頻圖利用Morlet小波方法得到了scout的特征。對(duì)于每個(gè)任務(wù),R5 scout的時(shí)頻圖如圖6所示。包含時(shí)間和頻率互補(bǔ)的時(shí)頻分析方法提供了時(shí)域和頻域的聯(lián)合分布信息,清晰地描述了信號(hào)頻率與時(shí)間的關(guān)系。圖6 R5 scout的時(shí)頻圖顯然,只有部分時(shí)頻映射是紅色的,表明每個(gè)任務(wù)只對(duì)特定的頻率和時(shí)間敏感。由于圖的數(shù)量比較大,研究者使用CNN來選擇和學(xué)習(xí)這些圖中最基本的特征。研究人員隨機(jī)選擇了幾個(gè)樣本,并將一些特征圖可視化,作為MI任務(wù)的學(xué)習(xí)表示,如圖7所示。圖7為了獲得有效的結(jié)果,將數(shù)據(jù)集分為90%作為訓(xùn)練集,其余10%作為測(cè)試集。首先,將十個(gè)受試者的數(shù)據(jù)集(總共19320個(gè)樣本)分為17388個(gè)樣本以訓(xùn)練所提出的CNN模型,以及1932個(gè)樣本以驗(yàn)證模型的有效性。在實(shí)驗(yàn)中,研究者還選擇了另外四個(gè)受試者的數(shù)據(jù)集以增加數(shù)據(jù)集的規(guī)模(27048個(gè)樣本),其中24343個(gè)樣本是訓(xùn)練集,其他樣本是測(cè)試集。在選定的scout上對(duì)所提出的CNN架構(gòu)進(jìn)行了十次訓(xùn)練和測(cè)試,以驗(yàn)證所提出模型的魯棒性。圖8(a)顯示了10個(gè)scout中每個(gè)的全局平均精度。圖8 統(tǒng)計(jì)結(jié)果R5的全局平均精度最高,達(dá)到94.5%,而L2的全局平均精度最低,為91.3%。對(duì)應(yīng)L1、L3、L4、L5、R1、R2、R3、R4的整體準(zhǔn)確率分別為92.4%、92.5%、93.6%、91.9%、93.0%、91.8%、92.1%、92.6%。所有scout的總體精度均在91%以上,標(biāo)準(zhǔn)差均在0.20%以下。圖8(b)顯示了十個(gè)scout中每個(gè)scout四個(gè)MI任務(wù)的組級(jí)統(tǒng)計(jì)結(jié)果及其標(biāo)準(zhǔn)差。一般來說,R5表現(xiàn)的要比其他的好,而L2在迭代2000中表現(xiàn)最差。標(biāo)準(zhǔn)差較小,說明這些精度更接近平均值且穩(wěn)定。圖9 統(tǒng)計(jì)結(jié)果圖9(a)顯示了帶有標(biāo)準(zhǔn)差的混淆矩陣,說明了group level分類結(jié)果。T1、T2、T3和T4的全局平均精度峰值分別為95.3%、93.3%、93.6%和96.0%。R5 scout的四個(gè)MI任務(wù)中的每一個(gè)都如圖9(b)所示。通過改變訓(xùn)練集和測(cè)試集順序的10次試驗(yàn),確定了scoutR5的性能,結(jié)果如圖10(a)和(b)所示。在10次試驗(yàn)中,scout R5的T1、T2、T3、T4的平均準(zhǔn)確率分別為93.3%、93.8%、94.2%、94.1%。換句話說,四個(gè)任務(wù)中每一個(gè)的平均準(zhǔn)確率都超過了93%。全局平均準(zhǔn)確率為93.7%。10次試驗(yàn)結(jié)果表明,該方法對(duì)scout R5的分類效果較好。從以上結(jié)果可以清楚地看出,R5 scout在四種MI任務(wù)的分類中扮演著最重要的角色。因此,選擇R5對(duì)四個(gè)MI任務(wù)進(jìn)行分類。圖 10圖11. (a)是不同模型的全局平均準(zhǔn)確性的比較。可以發(fā)現(xiàn),該研究提出的模型可以達(dá)到最大的精度。從圖11. (b)不同模型的ROC曲線可以看出提出的模型比其他模型表現(xiàn)更好。?不同模型T1上的精度比較。(d)不同模型T2的精度比較。(e)不同模型T3的精度比較。(f)不同型號(hào)T4的精度比較。圖11 不同模型的精度比較結(jié)論東北電力大學(xué)和長(zhǎng)春理工大學(xué)研究團(tuán)隊(duì)開發(fā)并實(shí)現(xiàn)一種結(jié)合腦電圖源成像(ESI)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)的新方法。該方法可以對(duì)運(yùn)動(dòng)想象(MI)任務(wù)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,他們的研究成果與最先進(jìn)的MI分類方法的結(jié)果相比,總體分類增加了14.4%。研究者加入了4個(gè)新的受試者進(jìn)行驗(yàn)證來驗(yàn)證方法的有效性。研究者表示,他們提出的結(jié)合scout ESI和CNN的方法,提高了腦電解碼四類MI任務(wù)的BCI性能。論文信息:A novel approach of decoding EEG four-class motor imagery tasks via scout ESI and CNN
東北電力大學(xué)
2021-04-10