惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Threat Research - Cisco Blogs
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
V
Vulnerabilities – Threatpost
GbyAI
GbyAI
P
Proofpoint News Feed
L
LINUX DO - 热门话题
P
Palo Alto Networks Blog
A
About on SuperTechFans
T
Tenable Blog
M
MIT News - Artificial intelligence
IT之家
IT之家
I
Intezer
D
DataBreaches.Net
爱范儿
爱范儿
T
Threatpost
C
CERT Recently Published Vulnerability Notes
云风的 BLOG
云风的 BLOG
博客园 - 三生石上(FineUI控件)
WordPress大学
WordPress大学
K
Kaspersky official blog
大猫的无限游戏
大猫的无限游戏
A
Arctic Wolf
Y
Y Combinator Blog
Cyberwarzone
Cyberwarzone
酷 壳 – CoolShell
酷 壳 – CoolShell
D
Darknet – Hacking Tools, Hacker News & Cyber Security
H
Help Net Security
Microsoft Security Blog
Microsoft Security Blog
Spread Privacy
Spread Privacy
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
AWS News Blog
AWS News Blog
博客园 - 聂微东
C
Check Point Blog
S
Securelist
有赞技术团队
有赞技术团队
雷峰网
雷峰网
aimingoo的专栏
aimingoo的专栏
Last Week in AI
Last Week in AI
Stack Overflow Blog
Stack Overflow Blog
MongoDB | Blog
MongoDB | Blog
D
Docker
G
GRAHAM CLULEY
T
The Exploit Database - CXSecurity.com
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tailwind CSS Blog
L
Lohrmann on Cybersecurity
G
Google Developers Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
L
LangChain Blog

博客园 - zhang-yd

今日开源[第16期]soxoj/maigret 今日开源[第15期]agent-skills 论文解读-《Hyperbolic Continuous Structural Entropy for Hierarchical Clustering》 今日开源[第14期]google/skills 今日开源[第13期]turbovec 今日开源[第12期]LiteParse 今日开源[第11期]OmniVoice-Studio 今日开源[第10期]ds4(DwarfStar) 今日开源[第9期]graphify 今日开源[第8期]open-notebook 今日开源[第7期]spec-kit 今日开源[第6期]Production Agentic RAG Course 今日开源[第5期]Headroom 今日开源[第4期]OpenTalking 今日开源[第3期]train-llm-from-scratch 今日开源[第2期]Project N.O.M.A.D. 今日开源[第1期]MoneyPrinterTurbo LearningCell代码解读 论文解读-《It Takes a Graph to Know a Graph Rewiring for Homophily with a Reference Graph》 论文解读-《Mitigating Over-Squashing in Graph Neural Networks by Spectrum-Preserving Sparsification》 论文解读-《Make Heterophily Graphs Better Fit GNN A Graph Rewiring Approach》 论文解读-《Temporal Graph Rewiring with Expander Graphs 》 论文解读-《Understanding Oversquashing in GNNs through the Lens of Effective Resistance》 论文解读-《Homophily-oriented Heterogeneous Graph Rewiring》 论文-Deep appearance modeling: A survey 代码阅读笔记-nanoclaw 代码阅读笔记-OpenManus 论文解读-《An Empirical Evaluation of Rewiring Approaches in Graph Neural Networks》 论文解读-《Probabilistic Graph Rewiring via Virtual Nodes》 论文解读-《Probabilistically Rewired Message-Passing Neural Networks》 论文解读-《Joint Graph Rewiring and Feature Denoising via Spectral Resonance》 代码阅读笔记-nanobot 论文解读-《Oversquashing in GNNs through the lens of information contraction and graph expansion》 论文解读-《GNNs Getting ComFy Community and Feature Similarity Guided Rewiring》 - zhang-yd 论文解读-《PANDA Expanded Width-Aware Message Passing Beyond Rewiring》 代码阅读笔记-AiPyApp 论文解读-《Deep Graph Contrastive Representation Learning》 论文解读-《Community-Invariant Graph Contrastive Learning》 论文解读-《DiffWire Inductive Graph Rewiring via the Lovász Bound》 论文解读-《The Effectiveness of Curvature-Based Rewiring and the Role of Hyperparameters in GNNs Revisited》 论文解读-《Over-Squashing in GNNs and Causal Inference of Rewiring Strategies》 论文解读-《Uncertainty-Aware Graph Structure Learning》
论文解读-《Dual-Kernel Graph Community Contrastive Learning》
zhang-yd · 2026-06-13 · via 博客园 - zhang-yd

1. 论文介绍

论文题目:Dual-Kernel Graph Community Contrastive Learning
论文领域:图对比学习
论文发表:AAAI 2026
论文地址:https://arxiv.org/abs/2511.08287
论文代码: https://github.com/chenx-hi/DKGCCL
论文背景:

gnnDKGCCL01

2. 论文摘要

图对比学习(GCL)已成为在无任务特定标签的情况下训练图神经网络(GNN)的强大范式。然而,GNN 的密集消息传递机制以及正负节点对对比损失的二次计算复杂度,限制了其在大规模图上的可扩展性。为解决这些问题,我们提出了一个高效的 GCL 框架,将输入图转化为紧凑的互联节点网络,同时保留群落间的结构信息。我们首先引入了具有线性复杂性的核化图社区对比损失,实现节点集间的信息有效传递,以捕捉图的层级结构信息。随后,我们将知识蒸馏技术整合进解耦的 GNN 架构,以加速推理,同时保持强有力的泛化性能。在十六个不同规模的真实世界数据集上进行了大量实验,表明我们的方法在有效性和可扩展性方面均优于最先进的 GCL 基线。

3. 相关介绍

3.1 GCL介绍

GCL的核心思想是利用基于互信息最大化的对比损失来区分正负节点对。
GCL领域的当前的瓶颈在于

  • 训练可扩展性受限于GNN和对比损失中成对比较的二次计算复杂度
  • 推理效率低下,源于GNN架构中固有的密集消息传递机制

3.2 粗化技术

将图划分为多个社区,每个社区视为一个节点,从而得到一个粗化的图,将消息传递应用于粗化图,使得模型可以捕获长距离依赖关系,并显著降低计算复杂度。

3.3 图社区对比学习

一个典型的GCL是将相邻节点定义为正对,G的其他节点定义为负对。以确保相邻节点有着相似的表示

gnnDKGCCL02

假设p={p1,..pm}是G的一个划分,包含m个社区。每个社区是v的一个子集。pi,j 是第i个节点在第j个社区中的权重。社区间的粗化图可以通过下面的公式构建

gnnDKGCCL03

其中Aj,k是Pj和Pk之间的连接权重。

3.4 多核学习

基于核的方法利用最优核函数k( , )来测量成对相似性,并已证明了在各种任务中非常有效。MKL方法通过结合多个核函数,从不同角度整合多样特征,由此产生的多核kn定义如下

gnnDKGCCL04

其中gn是一个组合函数,给出两个核函数。gn的两种策略:核函数的张量积和核函数的凸线性组合。得到的张量积的方法定义为

gnnDKGCCL05

本文的贡献
(1)通过整合多核学习,提出了双核图社区对比算是,提高了GCL训练的可扩展性
(2)引入了用于解耦GNN的知识蒸馏模块,以有效保留图结构信息并实现低延迟推理
(3)理论证明了核图社区对比损失可以为下游任务生成高质量的节点表示
(4)实验证明了有效性。

4. 核心算法

4.1 算法框架

本文提出的GCCL(graph community contrastive learning)框架

gnnDKGCCL06

基于核的GCCL
节点vi在Pj中可以由一个双层特征对 {vi, cj} 来表示

gnnDKGCCL07

其中WG和Wp分别是两个不同的投影矩阵,用于将节点特征空间xG和社区特征空间xP映射到目标空间。
我们将社区级特征的构建视为从节点到社区质心的消息传递的过程,基于GNN消息传递机制Dropout,每一个分区Pj可以生成的不同划分子结构的期望数量为

gnnDKGCCL08

双核GCCL损失
在获得双层特征后,如何使用简单的核技巧来加速GCL的计算过程。现有的GCL方法的成功在于强调节点表示的邻域相似性。
图社区对比损失可以表示为

gnnDKGCCL09

其中Pj是vi所属的社区,而N(Pj)是在A中与Pj相连的社区集合。
上述的KB有助于整合节点和社区之间的信息,而A可以根据Pj和Pk之间的连接性调整正对样本的权重。
设置特征空间XG和Xp的非负核函数分别是KG和Kp,通过其特征映射表示为KG为KG,根据核函数的张量积

gnnDKGCCL10

使用张量积方法的二核 GCCL 损失函数,MKL 的张量积方法能够在不同粒度级别的特征的所有维度上实现交互。

过度平滑问题是GNN的的表达能力构成关键挑战。我们研究了社区对比损失对节点平滑度的影响,并说明了整合关于G的先验信息的必要性。我们首先使用一个线性层,并通过我们的双核对比损失将社区信息融入这个线性变换过程。

图表示相似性蒸馏
采用知识蒸馏技术来避免GNN在推理过程中产生的显著计算开销。

gnnDKGCCL11

理论分析
双核 GCCL 损失可以在k步图扩散矩阵上近似图对比损失。
通过图划分算法实现,因为这些算法本质上会最大化社区内部度数相对于外部度数的总和。
在异质性图中,扩展的感应域提供了无法在局部邻域(平滑)内捕获的额外信息。这意味着我们可以通过调整社区数量和局部邻域的范围来适应具有不同同质性水平的图。

蒸馏损失的性质
局部邻域表示Z可以看作是以Zy为中心的标准化高斯分布中采样得到的。

算法流程

gnnDKGCCL12

整个训练过程分为两个阶段

  • 第一阶段:通过双核对比损失来训练
  • 第二阶段:通过局部特征和社区特征来进行蒸馏模式的训练

5. 实验设置

在16个数据集上进行了评估,7个同质化图,7个异质化图,2个大规模图。

基线方法
经典GCL方法:

  • DGI
  • GCA
  • gCooL
  • CSGCL:
  • SP-GCL:
  • GraphECL:
  • SGRL:
    以效率为导向的GCL方法:
  • BGRL
  • SUGRL
  • GGD
  • SGCL
  • StructComp
  • E2Neg
    感知异类性的GCL方法
  • HGRL
  • L-GCL
  • DSSL
  • GREET
  • GraphACL
  • HeterGCL
  • PolyGCL
  • M3P-GCL

实验分为多个维度来评估算法
有效性评估
在同质图和异质图上进行了全面的节点分类实验

gnnDKGCCL13

结果表明: (i) 我们的方法在不同同质性水平的图上表现出一致且优越的泛化性能。 (ii) 基于社区的方法,如 gCooL、CSGCL 和 E2Neg,在节点分类中显示出显著的竞争力,证实了在 GCL 中利用社区结构的有效性。 (iii) StructComp 在粗化图上进行对比学习,忽略节点级信息,这可能导致在节点级任务上的性能次优。

可扩展性评估:在大规模图上进行比较

gnnDKGCCL14

gnnDKGCCL15

6. 总结

基于简单的图划分算法和多核学习算法组合成为一种新的算法,双核图社区对比学习。
优势: 保持重要节点信息,以线性时间捕获社区级别结构特征。

7. 个人感悟

图对比学习是当前比较火热的领域,其中双层核学习的嵌入显得有点突兀,并没有巧妙的算法设计和重构。