本成果通過低成本快速迭代的聯(lián)合建模服務，能夠在保護所有參與方隱私的同時，有效釋放出各方大數(shù)據(jù)生產(chǎn)力，具備安全性高、大數(shù)據(jù)分析能力強、接入便捷、高效率和成本低的優(yōu)勢，廣泛適應于業(yè)務創(chuàng)新的應用場景。如互聯(lián)網(wǎng)，金融，自動駕駛和許多其他行業(yè)。由于諸如知識產(chǎn)權(quán)，隱私保護和數(shù)據(jù)安全之類的因素而導致這些行業(yè)中的數(shù)據(jù)無法直接匯總用于訓練機器學習模型。同時這些行業(yè)對于模型的穩(wěn)定性，安全性也有較高的要求。而聯(lián)邦學習的過程是一個分布式高頻通信的訓練過程，涉及多方數(shù)據(jù)、多方通信，每個環(huán)節(jié)都存在被攻擊的間隙：包括對多方數(shù)據(jù)源計算節(jié)點的攻擊、對多方節(jié)點之間通信的信道攻擊、對各方數(shù)據(jù)樣本集的攻擊、對加密算法本身的攻擊等等。例如，在金融領域，投毒攻擊者可通過虛假申報交易單的方式影響人工智能投資系統(tǒng)的決策，制造大規(guī)模股市波動；在自動駕駛領域，數(shù)據(jù)投毒可能導致車輛違反交通規(guī)則造成交通事故；在軍事領域甚至可以通過信息偽裝等方式誘導自主性武器啟動或攻擊，從而帶來毀滅性的后果。我們創(chuàng)新性提出的基于聯(lián)邦學習的通用投毒檢測防御和追溯模型便能滿足這類需求，在不損失模型精度的前提下，有效防御各類投毒攻擊，保護模型安全。

我們探索重塑端邊云一體化 AI 市場，利用聯(lián)邦學習的機制，持續(xù)聚焦各個行業(yè)領域的實際需求，與傳統(tǒng)的本地建模相比，聯(lián)邦學習建模采用加密交換機器學習的中間結(jié)果完成聯(lián)合建模，在保持效果增益的情況下，對法律法規(guī)的遵從度更高，同時進一步提升算法準確率，并且形成網(wǎng)絡效應，例如在智能終端領域，將本系統(tǒng)拓展到互聯(lián)網(wǎng)海量終端設備之上，從而形成一個以智能終端（如安卓手機、平板、IoT 設備）為計算節(jié)點、大規(guī)模分布式聯(lián)邦學習框架。具體地說如互聯(lián)網(wǎng) APP 用戶，通過融合終端用戶對相同設備或應用的不同體驗進行 AI 聯(lián)合建模（比如圖像分類）。在經(jīng)用戶授權(quán)后，聯(lián)合建模過程中，用戶的個人隱私（如本地圖片）均不出個人終端設備（如手機），從而保證了個人隱私安全。

同時在遭到本地惡意投毒攻擊時，能夠進行有效防御并準確定位攻擊者，保護模型安全，穩(wěn)定且安全地提供對用戶有價值的應用服務 , 又如在自動駕駛鄰域，本成果能保證在與各參與方進行數(shù)據(jù)交互之前，使用健壯的投毒數(shù)據(jù)驗證機制，能有效抵御不同規(guī)模的攻擊，即便在極端情況（只有一個正常用戶），都能精確區(qū)分正常用戶與攻擊者，以防止惡意參與者對模型進行投毒攻擊，從而避免造成大規(guī)模交通事故。

主要技術(shù)指標

針對聯(lián)邦學習中的模型投毒攻擊，開發(fā)防御與審計機制，在有效聚合客戶端模型的同時防止聯(lián)邦模型被污染，及聯(lián)邦模型被污染后迅速有效地定位攻擊者。

（1）聯(lián)邦學習模型在應用防御機制后，在無攻擊時，模型精度對比傳統(tǒng)的無防御聚合算法沒有損失，在有攻擊時，精度損失控制在3%。

（2）防御框架在遭遇本地投毒攻擊時，誤判率對比傳統(tǒng)算法控制在5%以內(nèi)，即在聯(lián)邦模型上的攻擊成功率小于5%。

（3）模型攻擊行為追溯率達80%。

相關(guān)成果

本成果針對人工智能安全領域的聯(lián)邦學習中的投毒攻擊的研究，以軟件形式部署在華為自研深度學習框架MindSpore中，將用于華為旗下使用MindSpore的服務器、終端等設備，共同構(gòu)建框架式防御體系，提高用戶體驗，保護用戶數(shù)據(jù)安全。