Abstract

"无监督双语词典归纳(Bilingual Lexicon Induction,BLI)通过学习映射函数对齐两种不同语言的单语词嵌入空间,从而推导单词翻译,在相似语言对中取得显著成功。然而,传统方法依赖单一线性映射,在远距离或低资源语言对上性能欠佳。为解决此问题,本文提出DM-BLI,一个基于动态多子空间对齐的无监督双语词典归纳算法及其应用框架。首先,DM-BLI通过多子空间映射提升对齐精度,重构源语言词嵌入空间,采用无监督聚类识别子空间,结合粗略全局对齐定位目标空间对应子空间,并通过簇内和簇间对比学习优化映射矩阵。在包含5个高资源和5个低资源语言对的有监督和无监督实验中显著提升性能。此外,DM-BLI基于所构建的词典使用logits lens技术评估大语言模型(Large Language Model, LLM)的跨语言能力,通过翻译和重复任务计算余弦相似度,结合词向量空间语义特征验证模型生成翻译的语义合理性。相较传统LLM的跨语言评估方法仅以静态的BLI翻译对为标准,DM-BLI能识别未被词典覆盖但语义合理的翻译,显著提升评估的鲁棒性和语义泛化能力,更准确全面地衡量大语言模型的跨语言语义映射能力。我们的代码发布https://github.com/huling-2/DM-BLI.git."