






















摘要:在測試時進行計算普遍被認為只對大型推理模型有益。我們證明它也對小型嵌入模型有幫助。由於現代嵌入模型是由大語言模型主幹衍生出來的,一個凍結的編碼器應該能夠從額外的推理計算中受益而不需要重新訓練。一個代理程序搜索迴圈在凍結的編碼器 API 上探索了 144 候選程序,並生產了十二個帕累托優化程序,涵蓋了從 $c=1.2$ 到 $14.7$ 的成本比率,超過單次通過基線。搜索獨立地重新發現了 Rocchio 虛假相關反饋、ColBERT 風格的句子粒度 MaxSim、互惠排名融合,以及 Fisher 線性判別,所有這些都不需要可訓練參數或外部模型。每一個邊緣程序在所有 14 個 MMTEB 检索任務上,涵蓋法律、金融、長文檔和一般領域,都提高了 nDCG@10,超過凍結的基線。這些程序無需修改即可轉移到未見過的編碼器家族和十九個保留的检索任務,68% 的模型-任務對承認至少有一個邊緣程序,其性能優於餘弦基線。
| 評論: | 16 頁,4 個圖 |
| 主題: | 機器學習 (cs.LG); 計算與語言 (cs.CL); 資訊搜尋 (cs.IR) |
| 引用格式: | arXiv:2605.11374 [cs.LG] |
| (或 arXiv:2605.11374v3 [cs.LG]) for this version) | |
| https://doi.org/10.48550/arXiv.2605.11374 arXiv發行的DOI透過DataCite |
此內容由慣性聚合(RSS閱讀器)自動聚合整理,僅供閱讀參考。 原文來自 — 版權歸原作者所有。