

























9 slowgenPRO @superhot 选支持 128K 上下文甚至更大的模型( Phi-3-medium-128k-instruct 、CodeGeeX4-All-9B 、DeepSeek-Coder-V2-Lite-Instruct 、Llama 3.1 之类),配合 continue.dev 插件可以整个文件夹追加到上下文。模型用在线服务和本地部署都可以,这个规模的上下文,用 Mac Studio 内存占用经常到 160GB 左右。 对话时把问题相关的文段片段追加到上下文(手工追加也行,把文档搞到本地做个 RAG 或者 GraphRAG 也行,我目前用 Open WebUI ,可以很简单设置模型和知识库文档范围),然后对着大模型哔哔需求就可以了。有了文档做背景自动拼接在问题后面,准确性大大提高,最新 API 信手拈来,也不怕模型自己那些过时的知识了。 框架的文档质量越高(特别是最佳实践、安全建议、性能优化指南这些),就越容易写出好代码。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。