聯邦學習投毒攻擊防御與追溯系統
當前,保護數據的隱私和安全已經成為世界性的熱點,各國都在加強對數據安全和隱私的保護。近年來,國家相繼出臺個人信息保護的標準和政策,旨在加強隱私保護。為了在符合相關法規的前提下使用數據,部分研究者嘗試令各方數據保留在本地的同時訓練全局模型,如 Google 提出的聯邦學習。作為一種加密的分布式機器學習技術 , 聯邦學習能夠讓參與各方在不披露底層數據和底層數據加密 ( 混淆 ) 形態的前提下,仍然能利用其余幾方參與者提供的信息,更好地訓練聯合模型,提升 AI 模型效果。
然而,將數據留在本地的方式卻也引發其他問題,如針對聯邦模型的投毒攻擊。投毒攻擊通過攻擊訓練數據集或算法來操縱機器學習模型的預測,使分類器識別特定樣本的分類邊界發生變化。而聯邦學習場景下的投毒攻擊通常擁有更強的隱蔽性和破壞性。
因此,我們將傳統投毒攻擊防御中對原始數據的清洗過程轉變至對上傳的模型權重參數的預處理,在參數服務器部署防御框架來防御投毒攻擊。我們設計了一種新穎的防御與追溯框架,該框架主要由模型聚類、初步防御和細化防御三個模塊構成,構建多層縱深防御體系,保護聯邦模型安全,并在源頭上主動追溯攻擊者。我們設計面向神經網絡的無監督層級聚類算法,消除了神經網絡中隱含元素置換不變性的影響。根據類內代表模型在聚合過程中的貢獻度確定其可疑度,并以動量思想將可疑度綁定每個客戶端,并結合歷史用戶行為對攻擊者進行定位。我們的防御框架可以自主評估模型貢獻度,自動確定可疑度動態劃分閾值,并在圖像、文本等多源數據集上達到了 100% 追溯率,實現了零漏檢,零誤檢。
目前,成果性能已經過多方測試和驗證,代碼已部署在華為自研深度學習框架MindSpore 中,進一步為廣大開發者所用。
西安電子科技大學
2023-01-18