本期《The Connector 周刊》精选 AI 应用、LLM 推理加速、DevOps 实践与高效工程师工具，助你掌握前沿技术与开发趋势。
The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。### AI 探索
- 用 LLM 构建企业专属的用户助手：很好的 LLM 应用工程实践，主要介绍了 PingCAP 如何使用大型语言模型（Large Language Model，LLM）构建一个搭载企业专属知识库的智能客服机器人。除了采用行业内通行的基于知识库的问题解答方法，还尝试让模型在“小样本（Few-Shot）”学习下进行不良（毒性）内容识别，如何对机器人性能进行优化以提高准确度，包括解决“不准确的不良（毒性）内容识别”、“上下文理解错误”、“语义搜索结果不精确”以及“文档信息不足或过时”等问题。
- LightLLM：纯Python超轻量高性能LLM推理框架：大语言模型受到越来越多的关注，极大的提高了人们的工作效率，然而如何低成本、高吞吐的将参数量动辄千亿的模型部署到各类服务器上，成为将技术进一步大范围推广的关键，本文比较了LightLLM，FasterTransformer，Text-Generation-Inference(简称TGI)，vLLM几个流行推理框架。
- AI 推理加速原理解析与工程实践分享：AI 推理是指将用户输入的数据，通过训练好的模型产生有价值信息的过程。具体的是将训练好的 AI 模型部署到提供算力的硬件上，并通过 HTTP/RPC 等接口对外提供服务，对 AI 算法工程师来说，他们希望自己训练的复杂模型可以更快的提供服务，而对于基础架构工程师来说，他们则希望可以将价格昂贵的 GPU 资源发挥出最好的效能，本文就探讨了这两类问题的解决思路。
开源推荐
工程师工具
- ReadPaper：集翻译、阅读、搜索、管理等于一体的专业科研神器，特别是多人共读论文场景，协作方面很强大。
- DevPod：Github Codespaces，Jetbrains Spaces或Google Cloud Workstation这一类产品可选替代，支持VSCode和完整的Jetbrains套件，支持主流的云厂商服务器、Kubernetes 集群，以及本地笔记本电脑。
- llm.report：可以通过对 OpenAI 的 API 请求日志进行记录，能够分析成本并改进提示，此类的产品现在很多，但是这款做的最好看，数据分析的也最全面。
- Cerelyze：将技术研究论文转化为可用的代码，ReadPaper Copilot工具，值得关注。
值得一看
- 《DevOps实践指南》：以流动、反馈、持续学习和实验 三步工作法作为 DevOps的基础原则，然后针对每个环节遇到的问题针对性提出一些技术实践，适合有一定工作经验的软件工程参与者阅读，才会对一些问题感同深受。DevOps是一种很好的团队文化，但是不得不说对个人的要求很高，我的理解就是能流程化的一定要通过技术改造为自动化，价值流上参与的每个个人做到凡事有交代，件件有着落，事事有回音，这样的团队肯定会高效，方法论固然好，还是在于人的执行，很值得一读。在团队协作中，以这样的理念来要求自己，做齿轮，不做螺丝钉。
- Matrices and graphs：作者把矩阵转换为有向加权图，进行定理推导，思路很有意思。