某种程度上来看，数据分析或许是大模型与终端应用最近的场景之一。这篇文章里，作者就分析了一款产品，这款产品是一款基于开源模型、可以让用户使用自然语言进行数据分析的LLM工具。一起来看看作者的分析和拆解。

随着越来越多的行业和企业完成了数字化改造，数据的不断积累使得数据分析工作变得越来越复杂，对数据的理解和分析技术的门槛使得数据分析无法开放给更多人。大语言模型使得自然语言生成 SQL 语句（Text2SQL）成为可能。

然而，即使是 GTP-4 这样的超大模型，其准确率也只有 80% 左右，缺少结构化的逻辑推理。目前 Text2SQL 最好的模型来自 Defog 公司最新推出的 34B 模型，在 sql-eval 基准上性能已经超过 GPT4-turbo 和 GPT4 。当针对某一企业数据库进行微调以后，准确率可以达到 99% 以上。2023 年 11 月 22 日，Defog 宣布完成了 220 万美金的种子轮融资， ScriptCapital 和 YC 联合领投。

思考：

我们尝试基于文章内容，提出更多发散性的推演和深思，欢迎交流。

数据分析是大模型与终端应用最近的场景之一，但由于企业将自己的数据交给大模型公司风险较高，大模型的能力在该领域当中并没有被很好的发挥出来。Defog 的本地部署方案给企业提供了一个更优的选择。

企业级 Agent ：核心是基于收集的数据，形成对业务的理解。从解决被提出的问题，扩展到发现潜在的问题，并提出解决方案。

企业的数据是一块待被开发的价值洼地，也是打开企业级人工智能的钥匙，包括对大量非结构化数据进行收集处理，和基于自然语言进行数据分析。

AI Native 产品分析——Defog

1. 产品：Defog

2. 产品上线时间：2023 年 8 月

3. 创始人：

– Rishabh Srivastava：毕业于新加坡国立大学，曾创立数据服务公司 Loki.ai 并实现十万美元级营收。

– Medha Basu：毕业于新加坡国立大学，先后做过记者、编辑、内容营销等工作。

4. 产品简介：

– 一款基于开源模型，可以让用户使用自然语言进行数据分析的LLM工具。

5.融资历史：

– 2023年11月，获得由 ScriptCapital 和 YC 联合领投的种子轮融资 220 万美元。

6. 发展历史

– 2023 年 1 月，Defog 被 YC W23 批次选中，并将公司定位在用自然语言处理数据方向上；

– 2023 年 6 月，经过为期几个月的内测，正式推出面向公众的免费&进阶收费版本，同时面向企业推出可在本地部署的fine-tune版本；

– 2023 年 8 – 10 月，先后开源 15B 和 7B 参数版本，目前在自然语言到 SQL 方面 优于 GTP4 。

一、产品介绍

Defog 旨在帮助企业使用 AI 更快地进行数据分析工作，其开发的基于开源的大语言模型可以进行本地化部署并进行微调，且在数据分析方面性能明显优于 GTP-4 等通用模型，包括在文本到 SQL 语句的转换等方面。

Defog 的核心功能由公司研发的开源大语言模型 SQLCoder 提供支持，SQLCoder 是一种目前世界上最好的将自然语言问题转换成 SQL 查询的模型。在发布以来短短的三个月内，SQLCoder 在 HuggingFace 上的下载量已经超过了 5 万次，在 Github 上被星标了 1800 次。

使用 Defog ，一个普通的员工可以用简单的自然语言提出一些需要进行复杂分析的问题，并可以在几分钟内收获答案，而不是通常数据分析所需要的几小时甚至是几天。

二、GPT 做数据分析难在哪？

自然语言完成数据处理的复杂性远超大家想象。即使是 GTP4 这样的超大模型，其准确率也只有 80% 左右，这主要有以下 5 种原因：

1）相较于庞大的自然语言数据库，大语言模型还是没见过很多 SQL 代码；即使是同样语义的一句 SQL 语言，还存在不同系统的兼容性问题。

2）虽然用户可以给 LLM 提供一些示例，但内容长度限制会影响输入；

3）自然语言到 SQL 最难得部分实际上是理解，这也是 GTP4 性能优于 Llama2 等模型的原因之一；

4）仅提供给大模型数据结构不完全够，需要增加自定义的数据描述。比如提问“有多少店铺被关闭了？”，数据表有一个”状态列“，但需要告诉 LLM 状态为 3 代表关闭。

5）跨语言数据库问题。比如在 Google BigQuery 上运行良好的 SQL 代码可能无法在 Trino/Presto/AWS Athena 上运行，也可能无法在 PostgreSQL 上运行。

Defog 公司最新的 34B 模型 defog-sqlcoder-34b 在 sql-eval 基准上对于超出训练集部分的性能已经击败了 GPT4-turbo 和 GPT4 。当针对某一企业数据库进行微调以后，准确率可以达到 99% 以上。

大型公司的数据科学家和业务负责人们每个月都要花费超过 1000 个小时来进行数据分析从而做出决策。而现在，一些医疗健康、金融和专业数据分析公司使用了 Defog 的产品，从而大大提升了数据分析效率。一家美股上市公司通过将 Defog 部署到一个 100 人的部门，从而分析时间减少了 80% ，据估计该公司的数据科学团队每个月将会因此节约 2500 个小时。

三、愿景：做每一个人的数据分析专家

Defog 的公司愿景就是帮助企业为每位员工提供一名 AI 数据分析师，并同时可以有效的控制这些 AI 。

值得注意的是，Defog 宣布即将推出下一代产品：AI Agent ，这项最新的产品可以回答用户更为复杂的“为什么”类问题。该 Agent 可以理解用户的意图，进行合理的猜测，进而编写代码提取正确的数据进行分析，并以表格、图表或者报告的形式返回给用户。因此，此前需要耗费数月的复杂分析，目前只需要 2-3 天即可完成。

四、商业化之路探讨

开源软件公司在海外有着多种变现路径：

大数据公司 Databricks 虽然其核心代码 Spark 开源，但其商业 SaaS 云服务背后的大量功能和性能代码是闭源的，使得其功能和性能是远超开源版本，从而获取付费订阅。

数据管理服务商 Cloudera 则是直接将代码打包成软件售卖，后来整合成云服务整体售卖。

而大量开源 CAD 、游戏引擎公司则是通过插件/素材库的付费使用来获取收益。

还有一些公司将开源软件与硬件绑定整合销售，或是在某些领域内为用户提供一键式的托管服务。

Defog 刚刚完成 MVP 的验证，未来还有很长的商业化之路要走。本地化部署 AI 存在的大量细分红海场景，也为 Defog 提供了一个无限可能的舞台。

参考材料：

http://github.com/defog-ai/sqlcoder https://defog.ai/sqlcoder-demo/