5月2日，中國計算機學會（CCF）推薦的A類國際學術(shù)會議ICML 2024論文接收結(jié)果公布。中國人民大學高瓴人工智能學院師生有14篇論文被錄用。國際機器學習大會（The International Conference on Machine Learning ，簡稱ICML）在人工智能和機器學習領(lǐng)域享有很高的學術(shù)聲譽， 第41屆會議將于7月21-27日在奧地利維也納舉辦。
論文題目：EquiPocket: an E(3)-Equivariant Geometric Graph Neural Network for Ligand Binding Site Prediction
作者：張陽, 魏哲巍, 黃文炳, 袁野, 李崇軒
通訊作者：魏哲巍, 黃文炳
論文概述：準確預測蛋白質(zhì)表面的可結(jié)合位點在藥物發(fā)現(xiàn)中起著基礎性的作用。當前大多數(shù)深度學習方法將蛋白質(zhì)視為3D圖像并進行體素化處理，再使用卷積神經(jīng)網(wǎng)絡進行預測。這些方法面臨著多種先天不足：對旋轉(zhuǎn)敏感、難以學習復雜的蛋白質(zhì)結(jié)構(gòu)信息、只能處理特定大小的蛋白質(zhì)等等。因此, 我們在E(3)-等變圖神經(jīng)網(wǎng)絡(GNN)基礎上提出了 EquiPocket 方法, 該方法將蛋白質(zhì)視為圖結(jié)構(gòu), 通過分析蛋白質(zhì)的內(nèi)部結(jié)構(gòu)信息和整體幾何信息, 實現(xiàn)了對結(jié)合位點的高效預測。
論文題目：Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training
作者：楊錦霞，蘇冰，趙鑫，文繼榮
通訊作者：蘇冰，趙鑫
論文概述：醫(yī)學視覺語言預訓練方法主要利用配對的醫(yī)學圖像和放射報告之間的對應關(guān)系。盡管在現(xiàn)有的多模態(tài)醫(yī)學數(shù)據(jù)集中可以獲得多視角的空間圖像以及圖像-報告對的時間序列，但大多數(shù)現(xiàn)有方法尚未利用如此廣泛的監(jiān)督信號。在本文中，我們提出了Med-ST框架，以利用來自不同空間視角的圖像和歷史記錄。對于空間建模，Med-ST采用Mixture of View Expert來集成來自正面和側(cè)面視圖的視覺特征。除了圖像和文本之間的全局對齊外，Med-ST 還在文本token和圖像的空間區(qū)域之間建立了模態(tài)加權(quán)的局部對齊。對于時間建模，我們提出了一種通過正向映射分類和反向映射回歸的新穎的跨模態(tài)雙向循環(huán)一致性目標。通過從簡單到復雜的時間信息感知，Med-ST可以學習時間語義。四種不同任務的實驗結(jié)果證明了Med-ST的有效性，特別是在時間相關(guān)的分類任務中。
論文題目：Perfect Alignment May be Poisonous to Graph Contrastive Learning
作者：劉敬宇，唐華鐿，劉勇
通訊作者：劉勇
論文概述：由于數(shù)據(jù)規(guī)模的增大以及標簽信息的缺失，自監(jiān)督方法在圖機器學習中的使用逐漸廣泛。圖對比學習在數(shù)據(jù)增強后，得到兩個視圖，兩視圖中的對應節(jié)點作為正樣本，其余節(jié)點作為負樣本。過去的研究者一般認為最優(yōu)的對比學習需要進行完美的正樣本對齊（正樣本的表征一致），以及負樣本表征在特征空間的均勻分布。同類節(jié)點在經(jīng)過較強的數(shù)據(jù)增強后的特征空間可能存在交集（augmentation overlap），因此，通過一個較強的數(shù)據(jù)增強，正樣本對齊可以一定程度上拉近同類樣本距離。然而，在圖對比學習中，發(fā)現(xiàn)一個更強的數(shù)據(jù)增強并不能幫助同類樣本的對齊，但會增加不同類樣本之間的距離，隨后利用信息論以及圖譜方法進行分析，并針對性設計了算法以提升圖對比學習性能。
論文題目：Algorithmic Stability Unleashed: Generalization Bounds with Unbounded Losses
作者：李少杰，朱博煒，劉勇
通訊作者：劉勇
論文概述：在統(tǒng)計學習理論中，一個核心問題是在概率框架內(nèi)量化學習算法的泛化能力。算法穩(wěn)定性是推導泛化界限的強大工具，然而，它通常建立在一個關(guān)鍵假設上，即損失是有界的。在本文中，我們放寬了這個條件到帶有次威布爾直徑（subweibull diameter）的無界損失函數(shù)。這為算法穩(wěn)定性提供了新的泛化界限，并將次高斯和次指數(shù)直徑的現(xiàn)有結(jié)果作為特例包含在內(nèi)。此外，我們提供了更精細的穩(wěn)定性分析，其開發(fā)的泛化界限的速度可以比之前的結(jié)果快根號n倍，其中n是樣本大小。
論文題目：Concentration Inequalities for General Functions of Heavy-Tailed Random Variables
作者：李少杰，劉勇
通訊作者：劉勇
論文概述：集中不等式在機器學習和高維統(tǒng)計學研究中起著至關(guān)重要的作用。本文得到了獨立隨機變量函數(shù)的有界差分不等式的無界類比，將有界差分條件推廣到具有有限方差的重尾分布。為了說明我們結(jié)果的有效性，我們將其應用于次指數(shù)尾部、次威布爾尾部和更重的多項式衰減尾部，展示了如何將現(xiàn)有結(jié)果推廣到有限方差分布。這些不等式具有廣泛的應用空間。
論文題目：Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization
作者：李銳，李朝卓，申彥明，張澤宇，陳旭
通訊作者：陳旭
論文概述：知識圖譜表示的最新進展依賴于歐式或雙曲幾何下的正交關(guān)系變換來建模重要的邏輯模式和拓撲結(jié)構(gòu)。然而，現(xiàn)有方法局限于剛性（維度受限且?guī)缀瓮|(zhì)）的關(guān)系正交變換，導致建模能力不足。為了突破現(xiàn)有方法在維度和幾何方面的限制，本文設計了一種以廣義Householder反射作為基本變換的通用正交參數(shù)化方法，進而提出了一種新穎且強大的知識表示框架。這種參數(shù)化方法可以自然地實現(xiàn)維度擴展和幾何統(tǒng)一，并具有理論保證，使我們的框架能夠同時捕獲知識圖譜中關(guān)鍵的邏輯模式和固有的拓撲異質(zhì)性。在實驗方面，本文所提出的框架在三個基準數(shù)據(jù)集上取得了最先進的性能。
論文題目：Relaxing the Accurate Imputation Assumption in Doubly Robust Learning for Debiased Recommendation
作者：李昊軒，鄭淳元，王舒逸，吳昆翰，王浩，吳鵬，耿直，陳旭，周曉華
通訊作者：陳旭，周曉華
論文概述：推薦系統(tǒng)旨在根據(jù)用戶的行為和偏好推薦他們可能感興趣的物品或信息。然而，現(xiàn)有的推薦系統(tǒng)在訓練數(shù)據(jù)收集過程中可能會存在選擇偏差，即收集到的數(shù)據(jù)不能有效代表目標總體。以前的研究提出了許多基于偽標簽的去偏方法來消除選擇偏差。然而，這些方法的有效性在很大程度上依賴于準確的偽標簽估計，而這在現(xiàn)實場景中很難滿足。本文從理論上提出了幾種新型的雙穩(wěn)健估計器，它們在以下兩種情況下無偏：(a) 偽標簽與真實標簽之間存在任意的用戶特定歸納偏置、物品特定歸納偏置或二者的加性組合；或 (b) 學習到的傾向得分是準確的。此外，我們進一步提出了一種利用注意力機制自適應地更新約束權(quán)重的傾向重構(gòu)學習方法，并且該學習方法可以有效控制方差。在一個半合成數(shù)據(jù)集和三個真實世界數(shù)據(jù)集上的大量實驗表明所提出的方法表現(xiàn)優(yōu)于最先進的去偏方法。
論文題目：MMPareto: Innocent Uni-modal Assistance for Enhanced Multi-modal Learning
作者：衛(wèi)雅珂，胡迪
通訊作者：胡迪
論文概述：具有針對性單模態(tài)學習目標的多模態(tài)學習方法在緩解不平衡的多模態(tài)學習問題方面表現(xiàn)出了卓越的效果。然而，我們發(fā)現(xiàn)，之前被忽視的多模態(tài)和單模態(tài)學習目標之間的梯度沖突，這可能會誤導單模態(tài)編碼器的優(yōu)化。我們首先觀察發(fā)現(xiàn)多模態(tài)損失和單模態(tài)損失之間的差異，即較易學習的多模態(tài)損失的梯度幅度和協(xié)方差都小于單模態(tài)損失。利用這一特性，我們進一步分析了多模態(tài)情況下的帕累托梯度整合，并提出了 MMPareto 算法，該算法可以確保最終梯度的方向與所有學習目標一致，并增強梯度的幅度以提高泛化能力，從而提供無害的單模態(tài)幫助。最后，覆蓋了多種模態(tài)類型和多模態(tài)框架的實驗表明，我們的方法性能優(yōu)越且可擴展，并且還有望在任務難度差異明顯的多任務情況下具有有效性，體現(xiàn)了了其理想的可擴展性。
論文題目：Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations
作者：薛凱文、周聿浩、聶燊、閔旭、張曉露、周軍、李崇軒
通訊作者：李崇軒
論文概述：貝葉斯流網(wǎng)絡（BFN）通過貝葉斯推斷，在各種噪聲水平下迭代地細化分布的參數(shù)，而不是擴散模型中的樣本。由于其可微性質(zhì)，BFN在同時保持快速采樣能力的情況下，對連續(xù)和離散數(shù)據(jù)的建模都顯示出了前景。本文旨在通過隨機微分方程（SDE）將BFN與擴散模型聯(lián)系起來，以理解和改進BFN。
我們確定了與BFN中噪聲添加過程相對應的線性SDE，證明了BFN的回歸損失與去噪得分匹配損失相一致，并驗證了BFN中的采樣器作為相應反向SDE的一階求解器的有效性。基于這些發(fā)現(xiàn)以及擴散模型中快速采樣的現(xiàn)有方案，我們?yōu)锽FN提出了專門的求解器，這些求解器在樣本質(zhì)量方面顯著超過了原始BFN采樣器，且在有限的函數(shù)評估次數(shù)下（例如，10次），對圖像和文本數(shù)據(jù)集均有效。值得注意的是，我們的最佳采樣器實現(xiàn)了5至20倍的速度提升，且無需額外成本。
論文鏈接：https://arxiv.org/abs/2404.15766
代碼鏈接：https://github.com/ML-GSAI/BFN-Solver
論文題目：Improving Equivariant Graph Neural Networks on Large Geometric Graphs via Virtual Nodes Learning
作者：張岳霖，岑嘉誠，韓家琦，張志強，周俊，黃文炳
通訊作者：黃文炳
論文概述：等變圖神經(jīng)網(wǎng)絡在各種科學應用中取得了顯著的成功。然而在面對大型幾何圖時，現(xiàn)有的等變圖神經(jīng)網(wǎng)絡的效率會成為一大問題，并且如果將輸入簡化后的稀疏局部圖以加速速度，則等變圖神經(jīng)網(wǎng)絡性能會很差。在本文中，我們提出了FastEGNN，這是針對大型幾何圖設計的等變圖神經(jīng)網(wǎng)絡增強模型。其核心思想是利用一小部分有序的虛擬節(jié)點來近似真實節(jié)點的無序大圖——具體地說，我們通過區(qū)分不同虛擬節(jié)點的消息傳遞和聚合，以增強彼此的獨特性，并最小化虛擬坐標和真實坐標之間的最大平均差異（MMD），以實現(xiàn)全局分布對齊。FastEGNN 滿足所有必要的 E(3) 對稱性，并具有充分的表達能力。我們在多體系統(tǒng)（100 個節(jié)點）、蛋白質(zhì)動力學（800 個節(jié)點）和3D水分子（8000 個節(jié)點）上進行的實驗表明，F(xiàn)astEGNN 在準確性和效率之間實現(xiàn)了良好的平衡，甚至在刪除所有真實節(jié)點間連邊后，其在蛋白質(zhì)動力學與3D水分子的任務上取得準確性也優(yōu)于原先的EGNN模型。
論文題目：Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning
作者：孔祥哲，黃文炳，劉洋
通訊作者：黃文炳，劉洋
論文概述：生物學和藥物發(fā)現(xiàn)中的許多過程涉及分子之間的各種3D相互作用，例如蛋白質(zhì)與蛋白質(zhì)、蛋白質(zhì)與小分子等。由于不同的分子通常以不同的粒度進行表示，現(xiàn)有方法通常使用不同的模型獨立編碼每種類型的分子，從而無法有效學習普遍的相互作用物理原理。在本文中，我們首先提出將任意3D復合物通用地表示為一個集合的幾何圖，揭示了用一種模型編碼所有類型分子的方法。然后，我們提出了一種通用等變Transformer（Generalist Equivariant Transformer，GET），以有效捕捉特定領(lǐng)域的層次結(jié)構(gòu)和通用領(lǐng)域的相互作用物理特性。具體來說，GET由雙層注意力模塊、前饋模塊和層歸一化模塊組成，每個模塊都是E(3)等變的，并且可以用于處理大小動態(tài)改變的集合。值得注意的是，與傳統(tǒng)的基于池化的分層模型不同，我們的GET能夠保留所有層次的細粒度信息。我們在蛋白質(zhì)、小分子和RNA/DNA之間的相互作用上進行了廣泛的實驗，驗證了我們所提出的方法在不同領(lǐng)域中的有效性和通用性。
論文題目：Subequivariant Reinforcement Learning in 3D Multi-Entity Physical Environments
作者：陳潤發(fā)，汪羚，杜雨，薛天瑞，孫富春，張建偉，黃文炳
通訊作者：孫富春，黃文炳
論文概述：多實體系統(tǒng)在三維環(huán)境中的策略學習比單實體場景復雜得多，這是由于隨著實體數(shù)量的增加，全局狀態(tài)空間呈指數(shù)增長。一種緩解指數(shù)復雜性的方法是將全局空間劃分為獨立的局部視圖，這些視圖對包括平移和旋轉(zhuǎn)在內(nèi)的變換是不變的。為此，本文提出了子等變分層神經(jīng)網(wǎng)絡（SHNN）來進行多實體策略學習。具體而言，SHNN首先通過任務分配將全局空間動態(tài)解耦為局部實體級子圖。然后，它在局部實體級子圖上利用子等變圖神經(jīng)網(wǎng)絡來獲取獨立的局部參考坐標系。這種方法專門針對受重力影響的環(huán)境進行設計，從而可以顯著減少狀態(tài)空間的冗余。此外，為了克服現(xiàn)有基準測試在多實體系統(tǒng)中對歐幾里得對稱約束進行檢驗的局限性，我們提出了多實體基準測試（MeBen），這是一套新環(huán)境，旨在探索多實體強化學習的廣泛領(lǐng)域。大量實驗表明，在所提出的基準測試中，SHNN相比現(xiàn)有方法取得了顯著進步。我們還進行了全面的消融實驗，以驗證任務分配和子等變性的必要性。
論文題目：Equivariant Diffusion for Crystal Structure Prediction
作者：林沛佳，陳品，矯瑞，莫晴，岑鑒煥，黃文炳，劉洋，黃聃，盧宇彤
論文概述：為了解決晶體結(jié)構(gòu)預測（Crystal Structure Prediction, CSP）任務的執(zhí)行效率和精度挑戰(zhàn)，幾何對稱性可感知的深度學習模型已經(jīng)被廣泛研究。其中，基于擴散模型的方法通過把CSP轉(zhuǎn)化為基于條件生成的任務，取得了良好的進展。然而，如何在擴散過程中保證置換、旋轉(zhuǎn)和周期平移的等變性問題，仍然沒有被完全解決。在這項工作中，我們提出了EDCSP，一種新穎的等變擴散生成模型。我們首先關(guān)注已有工作忽略的晶格置換等變性問題，并提出了一種考慮訓練約束的解決方法；此外，我們還提出了一種獨特的加噪方法，確保擴散模型在推理和訓練過程中嚴格遵循周期平移等變性。我們的實驗表明，EDCSP在生成精確結(jié)構(gòu)方面顯著優(yōu)于現(xiàn)有模型，并且在訓練過程中表現(xiàn)出更快的收斂速度。
論文題目：Contamination-Resilient Anomaly Detection via Adversarial Learning on Partially-Observed Normal and Anomalous Data
作者：Wenxi Lv, Qinliang Su, Hai Wan, 許洪騰, Wenchao Xu
論文概述：許多現(xiàn)有的異常檢測方法都依賴大規(guī)模的正常數(shù)據(jù)集進行訓練。但對于許多實際應用來說，受資源限制，從大規(guī)模未標記的數(shù)據(jù)集中刪除所有異常樣本是不現(xiàn)實的，進而導致我們難以獲得理想的正常數(shù)據(jù)集。為了在這種情況下實現(xiàn)準確的檢測異常，從概率論的角度來看，關(guān)鍵問題是如何從受污染的數(shù)據(jù)集中學習正常數(shù)據(jù)的分布。為此，我們提出了一種新的方法，通過收集兩個額外的由正常和異常樣本組成的小數(shù)據(jù)集進行對抗性學習，進而對正常數(shù)據(jù)分布進行估計。我們證明，在一些溫和的條件下，我們所提出的方法能夠?qū)W習正確的正常數(shù)據(jù)分布。此外，我們考慮了由于兩個附加數(shù)據(jù)集較小而導致的過擬合問題，并進一步開發(fā)了保證模型正確性的翻轉(zhuǎn)機制來緩解該問題。大量的實驗結(jié)果表明，在檢測受污染數(shù)據(jù)集條件下的異常情況時，我們的方法優(yōu)于基準方法。