一. 概述
本系列前两篇文章深入探讨了向量数据库和LLMOps在全球的暴露面及攻击面，本文作为第三篇，将重点关注当前主流大模型应用的安全风险。如今，大模型上云趋势明显，大多数大模型应用都可通过Docker快速一键部署， 这种“一键上云”的便利虽然加速了技术落地，但也同时埋下了不少安全隐患，如未授权API接口调用、形同虚设的访问控制与权限失效、N Day漏洞的再次利用问题等，均可导致用户隐私数据、机密信息大规模泄露。具体而言，攻击者可通过盗取大模型应用系统凭证、模型密钥、拦截聊天记录、污染训练数据等多重手段发起攻击。
本文我们依然从攻击面角度出发，对大模型应用中可能存在攻击的环节以及造成的实际危害进行分析，并给出缓解措施，希望可以通过具体介绍让大模型使用人员重视大模型生态中的数据安全。引发进一步思考。
二．开源大模型应用介绍
[1] [2] 我们认为大模型应用按类型可粗略分为问答系统（如ChatGPT）、编程开发助手(如Copilot)、搜索引擎与信息检索(如New Bing)、RAG应用（如Langchain、FastGPT）、LLM应用开发框架（Langflow、Dify）、垂直领域应用（如IBM Watson Health）这几类，鉴于本系列文章更聚焦于开源生态，据我们调研开源问答系统、RAG应用、LLM应用开发框架较多，因此这两者将为本文研究的重点。
我们调研，当前业界较为受欢迎的开源大模型应用如表格1所示：
表1 - 开源大模型应用基本信息
| LLM应用 | 应用类型 | Github链接 | Star数 | API |
|---|---|---|---|---|
| LangChain | RAG应用 | https://github.com/langchain-ai/langchain | 103k | 不支持 |
| AnythingLLM | RAG应用 | https://github.com/Mintplex-Labs/anything-llm | 40.9k | 支持 |
| FastGPT | RAG应用 | https://github.com/labring/FastGPT | 23.7k | 支持 |
| RAGFlow | RAG应用 | https://github.com/infiniflow/ragflow | 44.4k | 支持 |
| Vanna | RAG应用 | https://github.com/vanna-ai/vanna | 14k | 支持 |
| Langflow | LLM应用开发框架 | https://github.com/langflow-ai/langflow | 51.3k | 支持 |
| Dify | LLM应用开发框架 | https://github.com/langgenius/dify | 81.7k | 支持 |
| open-webui | LLM应用开发框架 | https://github.com/open-webui/open-webui | 82.9k | 支持 |
| NextChat | 问答系统 | https://github.com/ChatGPTNextWeb/NextChat | 81.9k | 支持 |
| Auto-GPT | 问答系统 | https://github.com/Significant-Gravitas/AutoGPT | 173k | 支持 |
| ChatGPT Web | 问答系统 | https://github.com/Chanzhaoyu/chatgpt-web | 31.9k | 支持[3] [4] |
三．开源大模型应用暴露面分析
我们针对上述小节中常见的大模型应用进行了测绘分析，重点为地区分布情况和所属云厂商两个维度，如下所示：
AnythingLLM[5]
AnythingLLM是由Mintplex Labs开源的一个全栈大模型聊天应用，该应用使用了现有商业大模型或开源大模型，再结合向量数据库解决方案以构建一个私有ChatGPT，该应用可以本地运行，也可以远程托管，并能够与用户进行智能聊天。
Github链接：https://github.com/Mintplex-Labs/anything-llm
图1展示了AnythingLLM应用的全球区域分布与云厂商分布情况。AnythingLLM应用全球服务数量超6600个，区域分布高度集中。前五大市场依次为中国、美国、德国、中国台湾省和新加坡，合计占比78%。云服务部署呈现多元化特征：AWS以60%占比居首，阿里云（16%）与腾讯云（9%）次之，其余15%由其他云服务商构成。数据表明，尽管头部云厂商占据主要份额，但仍有相当比例的开发者选择非主流云平台进行部署。
Ragflow
RAGFlow [9]是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）应用。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
Github链接：https://github.com/infiniflow/ragflow
图2展示了Ragflow应用的全球区域分布与云厂商分布情况。其中，Ragflow应用全球服务数量达4800+个，区域分布呈现显著集中态势。前五大市场以中国（3200+次）、美国、德国、中国香港和南非为主，五地合计占比达87%。云服务部署格局中，阿里云以57%的绝对优势领跑，腾讯云（18%）与AWS（9%）分列二三位，其余16%由其他云平台承接。数据反映出中国市场在该应用中的核心地位，同时云服务生态虽以头部厂商为主，但长尾市场仍存在多元化部署空间。
Langflow
Langflow是一个强大的AI代理和工作流构建工具，提供可视化拖拽界面简化开发流程，内置API服务器可将代理快速部署为可调用端点，并开箱即用地支持主流大模型、向量数据库及丰富AI工具生态，实现无缝集成与快速部署。
Github链接：https://github.com/langflow-ai/langflow
图3展示了Langflow应用的全球区域分布与云厂商分布情况。Langflow应用全球服务数量约2500个，区域分布呈现明显区域性特征。前五大市场依次为美国、德国、印尼、英国和巴西，五国合计占比63%，中国用户占比显著偏低，反映其在国内市场渗透度较弱。云服务部署集中度较高：AWS以58%的绝对优势主导，谷歌云（19%）与微软云（16%）构成第二梯队，剩余7%由其他云平台覆盖。数据凸显该应用在欧美及新兴市场的活跃度，同时反映出云服务生态仍由国际头部厂商把控的竞争格局。
Dify
Dify 是一个开源的 LLM 应用开发平台。其有较直观的界面并集成了智能AI工作流、RAG管道、智能体能力、模型管理、可观测性等功能，有助于用户快速从原型开发过渡到生产部署。
Github链接：https://github.com/langgenius/dify
图4展示了Dify应用的全球区域分布与云厂商分布情况。Dify应用全球服务数量达58000+个，呈现显著规模优势。区域分布高度集中：前五大市场中国（30349次，占比52%）、美国、日本、德国和新加坡合计占比86%，凸显中国市场的主导地位。云服务部署形成"一超多强"格局：阿里云以43%领跑市场，腾讯云（25%）与AWS（17%）构成双巨头支撑，剩余15%由其他云平台覆盖。作为使用量远超同类组件的产品，Dify展现出了中国市场强大的技术采纳能力
Open WebUI
Open WebUI 是一款可扩展、功能丰富且用户友好的自托管AI平台，支持完全离线运行。该平台兼容多种LLM运行环境（如Ollama及OpenAI标准API），并内置RAG推理引擎，是强大的AI私有化部署解决方案。
Github链接：https://github.com/open-webui/open-webui
图5展示了Open WebUI应用的全球区域分布与云厂商分布情况。Open WebUI应用全球服务部署量达104000+个，展现强劲市场渗透力。区域分布呈现双核驱动格局：中国（30349个，占29%）与美国（20547个，占20%）合计贡献近半数使用量，与德国、英国、中国香港共同构成前五大市场，五地合计占比65%。云服务竞争呈三足鼎立态势：腾讯云（30%）以微弱优势领先阿里云（27%），AWS（19%）稳居第三梯队，剩余24%由多元云服务商分占。
NextChat
ChatGPT-Next-Web 是一款轻量化、可私有化部署的开源ChatGPT网页客户端，支持多模型 API 对接和本地数据存储，提供企业级对话 AI 快速集成方案。
Github链接：https://github.com/ChatGPTNextWeb/NextChat
图6展示了NextChat应用的全球区域分布与云厂商分布情况。NextChat应用全球服务部署量达7600+个，区域分布中国（2348个，占29%）与美国（3454个，占20%）合计贡献76%，与中国香港、新加坡、加拿大位居前五大市场。云服务部署呈现头部垄断态势：AWS以1,800+资产（45%）占据主导地位，阿里云（1,100+，28%）与腾讯云（800，20%）形成第二梯队，其余7%由其他云平台覆盖。
四．开源大模型应用数据泄露攻击面分析
我们对当前市场主流开源大模型应用架构研究后发现当前市场中的开源大模型应用普遍存在API未授权访问风险，大模型应用在用户交互层与底层模型服务之间普遍采用API通信机制。部分应用存在接口鉴权机制缺失或配置缺陷，导致攻击者可绕过身份验证直接访问核心API接口。此类漏洞将直接暴露模型基础架构信息、应用凭证密钥、用户会话数据等敏感资产。攻击者利用该漏洞可实施模型资产窃取、会话数据爬取等高危操作，甚至通过密钥泄露实现横向渗透，下文我们将围绕以上风险对开源大模型应用的数据泄露攻击面进行分析。
4.1 模型基础信息泄露风险
经我们调研发现，部分聊天应用存在未授权API接口默认开放的安全隐患。这些接口可被任意访问并返回模型系统的基础信息，主要包括以下敏感数据：
1）向量数据库类型及配置参数；
2）模型版本信息；
3）API密钥调用状态等核心资产信息。
这些API接口已显露多重安全风险：首先，攻击者可利用获取的版本信息查询相关CVE漏洞数据库，精准定位已知漏洞进行渗透测试；其次，通过解析向量数据库类型及连接方式，攻击者可尝试构造未授权访问请求，实施数据窃取或注入攻击；更严重的是，API密钥调用状态的泄露可能暴露系统脆弱环节，为攻击者提供横向渗透路径。
4.2 LLM应用凭证泄露风险
经我们分析发现，由于可未授权访问的Web聊天应用通常会将API Token等核心应用凭证内嵌在Web网页代码中，且较容易被发现，因此攻击者可借此发起以下两种类型攻击：
-
模型资源滥用攻击 通过提取Web界面中的API Token，攻击者可模拟合法身份调用官方REST API接口，对AI模型发起高频推理请求。此类"薅羊毛"攻击将造成算力资源劫持以及消耗模型服务配额，推高企业云计算成本的风险。
-
权限体系穿透攻击 更严重的风险在于，部分应用会将管理员API密钥硬编码至前端代码。攻击者可逆向解析获取密钥后，直接访问后台管理接口实施如隐蔽通道构建和权限架构破坏等行为。
4.3 模型Key泄露风险
经研究发现，大模型应用开发框架（如LangChain、FastGPT等）在低代码编排场景中存在关键接口暴露风险。此类框架通过可视化流程（Flow）实现多模型链式调用，但若使用者未对Flow编排接口进行严格管控，攻击者可利用以下路径实施深度攻击：
攻击链：
阶段一：Flow元数据探测，未鉴权Flow API访问 → 响应数据分析 → 提取模型密钥/终端地址
阶段二：横向权限穿透，将窃取的密钥注入自有应用，劫持原付费账户的模型调用权限
阶段三：资源定向破坏，使用合法密钥发起高并发推理请求，触发模型服务商计费风控阈值或创建影子账户，结合泄露的管理密钥，在模型服务商侧注册傀儡账户实现持久化。
4.4 模型聊天信息泄露风险
API未授权访问问题也可能导致模型交互数据的系统性泄露，其攻击路径主要呈现为聊天记录直提取以及LLM凭证劫持
4.5 模型训练信息泄露
通过API未授权访问，攻击者可以访问模型训练数据，下图为大模型应用的训练数据页面，可以看出的是通过自然语言生成SQL语句虽然给使用者带来了便利，但若不对相应接口进行鉴权，训练数据则会被暴露于外，攻击者也可根据历史指令构造恶意语义化指令从而绕过业务逻辑窃取敏感信息。
五． 建议防护措施
由于上述风险和攻击面均是由于不安全的API访问所引起，因此我们认为需要从根因解决问题，建议应用部署者进行以下防护措施：
-
强制启用OAuth 2.0/SSO等认证方案，对模型应用Web控制台实施IP白名单访问控制
-
针对管理类API接口实施双因素认证，按最小权限原则划分API访问等级
-
针对模型开发框架类应用建议对Flow接口实施严格鉴权，最大幅度减少其API暴露面
-
针对语义绕过进行严格安全层过滤
六．绿盟科技创新研究院云上风险发现研究成果
绿盟科技创新研究院在云上风险发现和数据泄漏领域已经开展了多年的研究。借助Fusion数据泄露侦察平台，我们已监测到数万个云端暴露资产存在未授权访问的情况，包括但不限于自建仓库、公有云对象存储、云盘、OLAP/OLTP数据库、大模型组件，以及各类存储中间件等，具体研究内容可参考包括但不限于DevSecOps组件，自建仓库、公有云对象存储、云盘、OLAP/OLTP数据库，大模型组件以及各类存储中间件等，具体研究内容可参考《2023公有云安全风险分析报告》[1]，《2024上半年全球云数据泄露风险分析报告》[2]，《全球云上数据泄露风险分析简报》第一期至第五期[3-7]。
Fusion是由绿盟科技创新研究院研发的一款面向数据泄露测绘的创新产品，集探测、识别、泄露数据侦察于一体，针对互联网中暴露的泛云组件进行测绘，识别组件关联的组织机构和组件风险的影响面，实现自动化的资产探测、风险发现、泄露数据分析、责任主体识别、数据泄露侦察全生命周期流程。
Fusion的云上风险事件发现组件具有如下主要特色能力：
资产扫描探测：通过多个分布式节点对目标网段/资产进行分布式扫描探测，同时获取外部平台相关资产进行融合，利用本地指纹知识库，实现目标区域云上资产探测与指纹标记；
资产风险发现：通过分布式任务管理机制对目标资产进行静态版本匹配和动态PoC验证的方式，实现快速获取目标资产的脆弱性暴露情况；
风险资产组织定位：利用网络资产信息定位其所属地区、行业以及责任主体，进而挖掘主体间存在的隐藏供应链关系及相关风险。
资产泄露数据分析：针对不同组件资产的泄露文件，结合大模型相关技术对泄露数据进行分析与挖掘，实现目标资产的敏感信息获取；
当今数字化迅速发展的时代，数据安全问题越来越受到广泛关注。与此同时，随着云计算技术的普及和应用，企业也不可避免面临着云上数据泄露事件的频繁发生，为了提供公众和相关行业对数据安全的认知，我们计划定期发布有关云上数据泄露的分析报告，这些报告将以月报或双月报的形式呈现，内容涵盖最新的云上数据泄露案例分析、趋势洞察、数据保护最佳实践以及专家建议等。
如果读者对本文有任何意见或疑问，欢迎批评指正。如有合作意向请联系我们（邮箱chenfozhong@nsfocus.com）。
七． 参考文献
[1] 《2023公有云安全风险分析报告》 https://book.yunzhan365.com/tkgd/qdvx/mobile/index.html
[2]《2024上半年全球云上数据泄露风险分析报告》https://book.yunzhan365.com/tkgd/cltc/mobile/index.html
[3] 全球云上数据泄露风险分析简报 （第一期）https://book.yunzhan365.com/tkgd/sash/mobile/index.html
[4] 全球云上数据泄露风险分析简报 （第二期）https://book.yunzhan365.com/tkgd/bxgy/mobile/index.html
[5] 全球云上数据泄露风险分析简报 （第三期）https://book.yunzhan365.com/tkgd/xyih/mobile/index.html
[6] 全球云上数据泄露风险分析简报 （第四期）https://book.yunzhan365.com/tkgd/xbin/mobile/index.html
[7] 全球云上数据泄露风险分析简报 （第五期）https://book.yunzhan365.com/bookcase/wxjf/index.html
