本期《The Connector》周刊深入探讨RAG与LLM应用优化策略，精选高效开源工具，助你突破付费墙，提升AI开发与个人效率，获取更多灵感与知识，激发创造力。
The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。### AI 探索
- 当RAG遇上上下文窗口，谁更有优势：这篇论文研究了（1）在下游任务中，检索增强和长上下文窗口哪个更有效？（2）这两种方法能否结合使用，以达到最佳效果？研究发现使用带有4K上下文窗口的LLM和简单的检索增强，在长上下文任务上的性能可以媲美带有16K上下文窗口并经过微调的LLM；检索增强能显著提高LLMs的性能，无论其上下文窗口的大小如何。带有32K上下文窗口和检索增强的LLaMA2-70B，在七项长上下文任务上超过了GPT-3.5-turbo-16k和Davinci003，并且生成速度更快，超过了其不带检索的基线。
- 构建基于 RAG 的 LLM 应用的综合指南：这篇文章讨论了构建基于RAG（Retrieval-Augmented Generation）的LLM 应用程序的全面指南。文章提到了使用框架构建和自行构建RAG系统的各种观点和经验。对于规模化的应用程序，使用框架可能是正确的方法，但对于学习目的，自行构建可以更简单易懂。评论中还提到了一些关于RAG的问题，如QA生成的质量和如何改进QA生成的技巧。此外，还讨论了使用向量数据库和词搜索的不同用例，并提到了一些相关的工具和资源。使用矢量存储可以减少检索最相似结果所需的时间。根据讨论，对于处理几百万个向量的情况，矢量数据库可能不是必需的，可以使用其他方法进行信息检索。使用矢量数据库的优点在于处理自然语言时表现出色，可以帮助获取用户在查询中的实际意图。矢量存储可以结合语言模型生成更准确的上下文，并且对于处理专有或非公开数据也很适用。同时，还提到了一种使用整个聊天记录的方法来改善语义搜索的性能，使用嵌入（embeddings）进行查询匹配的可行性和使用嵌入处理大量数据的效果。对于复杂的任务，现成的嵌入可能无法将查询的嵌入与相关日志行的嵌入匹配。对于大量数据的处理，嵌入是否适用取决于数据流的成本/性能，对于静态数据集更加适用。讨论还提到了使用多步推理代理来自动查询处理，并指出嵌入模型可以辅助用户更快地获取答案，并且可以通过为LLM提供启发式规则来检测“异常延迟”。总之，当前的技术水平可能更适合作为一个助手来辅助用户，而不是直接解决大规模结构化数据的异常检测。
- IncarnaMind：一个开源RAG项目实现高效召回，一个可通过大语言模型（LLMs）与多个文档（PDF、TXT等）同时聊天的开源项目，使用了Langchain框架，向量数据库选用Chroma DB。用LLM将用户的提问转换成独立查询，当用户提问后，它先针对问题和历史消息，让LLM对问题重新提炼，拆分成多个独立查询，用小分块保证尽可能找到更多的相关内容，用大分块保证内容完整性。滑动窗口分块技术会根据数据的复杂性和上下文动态调整窗口大小和位置，以平衡对细粒度和粗粒度数据的访问。
- LLM 应用的分块策略：在构建与LLM相关的应用的背景下，分块是将大块文本分解为较小段落的过程。这是一种必不可少的技术，可以帮助优化从向量数据库中获取的内容的相关性，在这篇博文中，我们将探讨如何提高LLM相关应用的效率和准确性。
开源推荐
- SingleFile：一个支持常见的浏览器插件（包括 Chrome、Firefox（桌面版和移动版）、Microsoft Edge、Safari、Brave和Opera），用于将完整网页保存为单个 HTML 文件。我经常用它来个人备份一些具有付费墙、敏感话题（随时被删除）以及飞书私有文档等内容。
- Bypass Paywalls Chrome Clean：一个 Chrome 浏览器插件，能够突破常见的新闻和杂志网站的付费墙，同时具备丰富的自定义配置。（建议不要滥用，每月一到两次的阅读频度，可以利用工具节省💰；如果是每周都会看的频次，建议正常走付费渠道，这样才能保证好内容的持续产出。）
- Import from Apple Notes： 将 Apple Notes 里所有的数据导入 Obsidian，原理就是直接读 sqlite，基本所有格式都可以导出。
- cf-send-email-worker：一个由 Cloudflare worker 项目驱动的用于免费发送电子邮件的私有 API 服务，实现原理可以看这篇 文档参考。
- chatgpt-web-share：共享一个 ChatGPT 账号给多个用户同时使用的 web 应用，采用 FastAPI + Vue3 框架开发，此应用可供朋友之间共享或合租 ChatGPT Plus 账号，功能包括支持设置对话模型以及用户请求限制，支持使用 GPT-4！
工程师工具
- 做个应用：一款教你从 0 开始学习 Apple 全平台开发语言SwiftUI的应用，共计 30+ 模块，200+ 个章节，从基础数据结构知识，到设计模式，到各个类似的组件的使用，包含了开发 Apple 应用的每一个环节，跟着整体的课程轻松学会 SwiftUI，每个人都可以开发 Apple 应用。
- cloudcone：一家 VPS 供应商，看了介绍，机房分布很广，成立时间蛮久的，最重要的是价格还很便宜，果断推荐，无充值！
- Pramp：一个免费的技术英语面试练习网站，预约好一个类型的技术面试（架构/算法/工程类）之后，系统会提供选自GitHub一上个叫system design仓库的问题详情。提前准备好后，开始面试，面试开始后会随机匹配一个人，互相面试对方后，最终提供反馈，这个面试对于提高英语和技术能力还是很有帮助的。
- LocalSend：将文件共享到附近的设备，免费、开源、跨平台。
值得一看
- 探索EXIF：苹果相机拍摄的照片中包含大量直接编码到图像文件本身中存储的信息，这些丰富的元数据，例如照片的拍摄地点（以便您以后可以在地图上查看照片）、拍摄图像的时间和日期、使用的镜头和变焦级别、曝光、ISO 和光圈等，这篇博客的作者进行了探索。
- LeptonAI 使用体验：LeptonAI是贾扬清的创业项目，正如 slogan “Build AI The Simple Way” 所表明的，LeptonAI的目标是简化 AI 模型的部署，这篇文章是对该产品的详细介绍，整体产品体验很不错。