观PDF HTML（实验性）

摘要：于多般推理之务，大语言模型（LLMs）常恃结构外知，如图谱与表格，此等知识多线性化为序列符码之表。然纵有足够能知，LLMs犹能生幻象之输出，而其下之机制，人犹未明。吾等究其机，乃知幻象起于系统内动，非偶然之噪。其一，注力偏重于捷径类之结构微候，而非遍及全境。其二，前馈表征未能固其所知，致模型复归参数之忆。复次，吾等之果示幻象恒与前馈层语义固之失相随，而注力之配则显任务相异之变。终，吾等示此机制之模，可越单跳图谱，及于多跳与表格之境，使于结构知识之式，得有效察幻象。

提交历史

自：李尚浩 [视邮件]
[v1] 晴，廿五日丙午，戌时初刻，时差零点，载入七十六三箩，天机玄玄。