Abstract
"多模态知识图补全(MMKGC)通过融合实体间的结构化语义信息与多模态特征,从给定的多模态知识图谱(MMKG)中发现未观察到的潜在事实。然而,现有方法普遍忽略了实体表示过程中不同模态的交互,同时缺乏对补全过程中模态之间互补性的关注。为了解决这些不足,我们提出了一种新的模型MIDF(模态交互和决策融合)来处理多模态的交互和互补。该模型首先设计了一个实体多模态交互融合模块,将实体的图像和文本特征提前交互后,再与结构特征进行融合,充分学习实体的嵌入。为了在补全过程中进一步利用不同模态之间的互补性,我们设计了关系引导的决策融合模块。通过使用不同模态的预测结果以及关系引导的权重,进一步利用模态的互补性,融合预测结果。在DB15K和MKG-W上的广泛实验证明,我们的MIDF优于现有的最先进的模型,证明了我们方法的有效性。"
- Anthology ID:
- 2025.ccl-1.8
- Volume:
- Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
- Month:
- August
- Year:
- 2025
- Address:
- Jinan, China
- Editors:
- Maosong Sun, Peiyong Duan, Zhiyuan Liu, Ruifeng Xu, Weiwei Sun
- Venue:
- CCL
- SIG:
- Publisher:
- Chinese Information Processing Society of China
- Note:
- Pages:
- 89–101
- Language:
- URL:
- https://aclanthology.org/2025.ccl-1.8/
- DOI:
- Bibkey:
- Cite (ACL):
- Zengxiao Chen, Hui Zhao, and Di Ying. 2025. MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 89–101, Jinan, China. Chinese Information Processing Society of China.
- Cite (Informal):
- MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全 (Chen et al., CCL 2025)
- Copy Citation:
- PDF:
- https://aclanthology.org/2025.ccl-1.8.pdf