论文 2026/1025

几何临界点筛选：无聚类之密码分析提取神经网络模型

唐沛瑶，信息工程学院，郑州，中国

摘要

神經網絡模型萃取，近年已成為關鍵安全議題。庚子年，卡拉利尼等將模型萃取分為簽名萃取與跡萃取。甲辰年，卡納勒斯-馬丁內斯等提出一多項式時間跡萃取之法。丙午年，劉氏等成首例八層深神經網絡模型萃取之功。然現有簽名萃取之法，遵循先計算後聚類之舊制：首計無名層巨量候選關鍵點之簽名，再以聚類分層，致查詢與計算之費過鉅。 是文呈現以幾何關係為基之關鍵點篩選之法。於三共面平行線上尋關鍵點，可疾速分離首隱藏層神經元之關鍵點，以最少簽名萃取，減簽名萃取之查詢複雜度自 $O(N \log N \cdot d_0)$ 至 $O(d_1\cdot d_0)$。於輸入維度逾首隱藏層維度之神經網絡，更可於全激活空間內三共面線段上尋關鍵點，以疾速篩選二隱藏層關鍵點，而首隱藏層神經元皆已激活。 幾何關鍵點篩選，僅需計算少量非目標關鍵點之簽名。其優在查詢之費低，且能自動驗證汙染之關鍵點。於 $784-8^{(8)}-1$ 網絡實驗，首二隱藏層神經元簽名萃取所需之時，僅為現有之法百分之一點七與百分之三點七，查詢之費減至最前沿之法百分之三點二與百分之零點一。復次，此法不限於 ReLU 激活，可推廣至其他分段線性激活函數，為神經網絡模型萃取提供根本且通輕之法。