聯(lián)邦學(xué)習(xí)投毒攻擊防御與追溯系統(tǒng)
當(dāng)前,保護(hù)數(shù)據(jù)的隱私和安全已經(jīng)成為世界性的熱點(diǎn),各國(guó)都在加強(qiáng)對(duì)數(shù)據(jù)安全和隱私的保護(hù)。近年來(lái),國(guó)家相繼出臺(tái)個(gè)人信息保護(hù)的標(biāo)準(zhǔn)和政策,旨在加強(qiáng)隱私保護(hù)。為了在符合相關(guān)法規(guī)的前提下使用數(shù)據(jù),部分研究者嘗試令各方數(shù)據(jù)保留在本地的同時(shí)訓(xùn)練全局模型,如 Google 提出的聯(lián)邦學(xué)習(xí)。作為一種加密的分布式機(jī)器學(xué)習(xí)技術(shù) , 聯(lián)邦學(xué)習(xí)能夠讓參與各方在不披露底層數(shù)據(jù)和底層數(shù)據(jù)加密 ( 混淆 ) 形態(tài)的前提下,仍然能利用其余幾方參與者提供的信息,更好地訓(xùn)練聯(lián)合模型,提升 AI 模型效果。
然而,將數(shù)據(jù)留在本地的方式卻也引發(fā)其他問(wèn)題,如針對(duì)聯(lián)邦模型的投毒攻擊。投毒攻擊通過(guò)攻擊訓(xùn)練數(shù)據(jù)集或算法來(lái)操縱機(jī)器學(xué)習(xí)模型的預(yù)測(cè),使分類器識(shí)別特定樣本的分類邊界發(fā)生變化。而聯(lián)邦學(xué)習(xí)場(chǎng)景下的投毒攻擊通常擁有更強(qiáng)的隱蔽性和破壞性。
因此,我們將傳統(tǒng)投毒攻擊防御中對(duì)原始數(shù)據(jù)的清洗過(guò)程轉(zhuǎn)變至對(duì)上傳的模型權(quán)重參數(shù)的預(yù)處理,在參數(shù)服務(wù)器部署防御框架來(lái)防御投毒攻擊。我們?cè)O(shè)計(jì)了一種新穎的防御與追溯框架,該框架主要由模型聚類、初步防御和細(xì)化防御三個(gè)模塊構(gòu)成,構(gòu)建多層縱深防御體系,保護(hù)聯(lián)邦模型安全,并在源頭上主動(dòng)追溯攻擊者。我們?cè)O(shè)計(jì)面向神經(jīng)網(wǎng)絡(luò)的無(wú)監(jiān)督層級(jí)聚類算法,消除了神經(jīng)網(wǎng)絡(luò)中隱含元素置換不變性的影響。根據(jù)類內(nèi)代表模型在聚合過(guò)程中的貢獻(xiàn)度確定其可疑度,并以動(dòng)量思想將可疑度綁定每個(gè)客戶端,并結(jié)合歷史用戶行為對(duì)攻擊者進(jìn)行定位。我們的防御框架可以自主評(píng)估模型貢獻(xiàn)度,自動(dòng)確定可疑度動(dòng)態(tài)劃分閾值,并在圖像、文本等多源數(shù)據(jù)集上達(dá)到了 100% 追溯率,實(shí)現(xiàn)了零漏檢,零誤檢。
目前,成果性能已經(jīng)過(guò)多方測(cè)試和驗(yàn)證,代碼已部署在華為自研深度學(xué)習(xí)框架MindSpore 中,進(jìn)一步為廣大開(kāi)發(fā)者所用。
西安電子科技大學(xué)
2023-01-18