要約：多くの推論タスクにおいて、大規模言語モデル（LLM）はグラフや表などの構造化された外部知識に依存しており、これらは通常、順序的なトークン表現に線形化されます。しかし、十分な知識が利用可能であっても、LLMは依然として幻覚的な出力を生成し、そのような失敗の背後にあるメカニズムは依然としてよく理解されていません。私たちはこれらのメカニズムを調査し、幻覚は体系的な内部ダイナミクスによって引き起こされ、ランダムなノイズではなくということを発見しました。まず、注意は短絡的で似た構造的なヒントに対して不釣り合いに集中し、全体の文脈に均等に分布するのではなく。次に、フィードフォワード表現は提供された知識を定着させることができず、モデルがパラメトリックメモリに戻る原因となります。さらに、私たちの結果は、幻覚は一貫してフィードフォワードレイヤー内の意味の定着の失敗と関連しており、注意の割り当てはよりタスクに依存した変異性を示すことを示しています。最後に、私たちはこれらのメカニズムパターンが単跳びグラフを超えて、マルチ跳びおよび表形式の設定に一般化し、構造化された知識フォーマットを横断する効果的な幻覚検知を可能にすることを示しました。
| コメント: | ACL 2026 論文集に掲載予定 |
| 分野: | 計算と言語 (cs.CL); 機械学習 (cs.AI) |
| 報告 番号: | ACL 2026 |
| 引用: | arXiv:2605.26362 [cs.CL] |
| (または arXiv:2605.26362v1 [cs.CL] このバージョン用) | |
| https://doi.org/10.48550/arXiv.2605.26362 DataCiteを通じてarXivから発行されたDOI（登録待ち) |
From: Shanghao Li [メールを表示]
[v1]
月曜日、2026年5月25日 22:08:59 UTC (763 KB)
このコンテンツは慣性聚合(RSSリーダー)によって自動集約されています。参考としてご覧ください。 原文出典 — 著作権は原著者に帰属します。