惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
WordPress大学
WordPress大学
人人都是产品经理
人人都是产品经理
Engineering at Meta
Engineering at Meta
小众软件
小众软件
I
InfoQ
有赞技术团队
有赞技术团队
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Martin Fowler
Martin Fowler
月光博客
月光博客
雷峰网
雷峰网
aimingoo的专栏
aimingoo的专栏
云风的 BLOG
云风的 BLOG
Last Week in AI
Last Week in AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
S
SegmentFault 最新的问题
The GitHub Blog
The GitHub Blog
Y
Y Combinator Blog
V
Visual Studio Blog
博客园 - 叶小钗
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
GbyAI
GbyAI
P
Proofpoint News Feed
Apple Machine Learning Research
Apple Machine Learning Research

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
数据运营篇 | 面向探索分析的数据查询
数据小吏 · 2024-12-17 · via 人人都是产品经理

文章指出,尽管BI报表类产品不断扩展能力边界,即席查询类产品因其专注于数据查询分析而具有独特价值。正如彼得·德鲁克所说:“知识的关键在于应用。”本文将指导你如何有效地应用即席查询工具,以提高数据探索的效率和准确性。

2024年12月16日 22:32 北京

在找到数据之后,确定了哪些表是需要的,是符合预期的,就需要进行数据查询探索。

即席查询的定位

如果说报表或者数据服务API是固定需求的数据展示和数据获取。那么即席查询即是灵活的数据探索。一个是固定场景,一个是灵活数据探索。探索过程中用户能够获取什么都是未知的,而且大部分都是临时性的。

这就涉及到另一个问题,数据消费者是不是有能力、有意愿进行数据查询,因为毕竟数据查询的过程是需要写SQL的。不可否认的是,写SQL对于一部分数据消费者是有一定门槛的,但是也需要确定的是,一部分数据消费者是有查询需求的。针对高门槛的可以使用拖拽式、使用NLP2SQL来降低一下门槛。针对于有述求的用户这个产品就很是和他们需求契合了。

即席查询的基本界面

另外此类产品开源的界面也很多。一类是上面是编辑框,下面展示结果,开源的类似hue、Superset、Redash等。一类一行编辑框, 一行执行结果,如Zeppelin。(此类型接触的较少),主要介绍第一类。

即席查询在界面上,和离线开发中的SQL类任务开发是类似甚至可以完全一样的。

左边内容

在左边的内容中,主要保存查询任务、和有权限查询的表以及表的字段信息。

中间内容

中间内容中主要的就是一个编辑框了,在编辑框中能够进行SQL编辑,这个编辑框里面编辑的内容需要能够有关键字提示、高亮、局部代码执行、规范化显示等等。

中间内容的下半部分的话就是执行的代码的显示了。直接显示出来执行结果。

执行结果这里有一个问题,就是针对异步执行的查询,当关闭显示框的时候,如何能够将之前执行的查询的状态、结果显示出来那。可以单独有一个历史查询界面,如果能够拿到查询任务和底层执行的对应关系的话,直接在每个查询结果显示界面显示历史也是可以的。

即席查询的低门槛

操作上的低门槛

在操作门槛上可以把表进行拖拽,之后将拖拽的内容生成对应的SQL,进行数据查询。

当然,也可以将SQL关键字都进行抽象,从而实现拖拽式的低门槛。

结合大模型的低门槛

2023年大模型的火热感觉烧到了各个角落里。其中如果和即席查询结合的话,大模型能提供什么能力?上面也说到过数据消费者可能存在一部分人不悔写SQL的问题,那么是不是可以让这部分人仅仅写自然语言,然后通过大模型将自然语言转换为SQL那。答案是肯定的。在输入特定prompt之后,大模型就能很方便的转化为SQL语句。

table_info = “””

CREATE TABLE ods_dev.tb_scrm_customer_d (

[[‘zip_code’ ‘string’ ‘邮编’]

[‘wechat_uuid’ ‘string’ ‘微信uuid’]

[‘wechat_name’ ‘string’ ‘微信号名称’]

[‘wechat_head_portrait’ ‘string’ ‘微信头像’]

[‘uuid’ ‘string’ ‘微信的uuid’]

[‘update_time’ ‘datetime’ ‘更新时间’]

[‘update_by’ ‘string’ ‘更新人’]

[‘telephone’ ‘string’ ‘固化电话’]

[‘short_name’ ‘string’ ‘公司简称’]

[‘shop_name’ ‘string’ ‘虚拟店名称’]

[‘shop_id’ ‘string’ ‘虚拟店id’]

[‘sex’ ‘bigint’ ‘性别’]

[‘retained_capital_city’ ‘string’ ‘用户留资城市’]

[‘residential_address’ ‘string’ ‘用户居住地址’]

[‘resident_province’ ‘string’ ‘常驻省份’]

)

“””

I would like you to be my data anlysts and generate accurate hive sql query for the question

– Make sure the query is postgres compitiable

– Ensure case sensistivity

– Do not add any special information or comment, just return the query

The expected output is code only. Always use table name in column reference to avoid ambiguity

但是大模型不能保证百分之百的准确,而且准确率依赖输入的字段备注等信息。所以个人对于这类chat2SQL的产品是否能够真正落地是存在疑问的。

和可视化类产品间的关系

随着BI报表类产品能力边界的不断扩展,在BI类产品中也都会出现数据探索的即席查询的能力,也会有已经有了BI产品为什么还要有单独的即席查询类的数据探索产品。但个人认为,因为最终的目标不同,在能力发展上也会有区别,可视化类的更加偏重界面的展示,即席查询类的主要就是数据查询分析。

而且对接的数据源上,BI类产品一般因为效率的原因都是对接MySQL或者HOLO此类的数据库,不会对接Hive等真正存储大量数据的系统。

当然,这两个产品如果能更好的联动起来的话,比如使用即席查询分析完数据之后,能够很方便的使用BI产品进行可视化的展示,算是更好的联动了。

说到联动,这里也提一下可以和数据服务API的联动。在2、基于SQL创建 中提到,如果创建API的过程是使用SQL来创建一个数据服务API。那么是不是也可以使用即席查询和数据服务API的创建过程联动起来。当然,如果这样的话就需要再划分下数据服务谁开发的问题,在数据服务开发篇中,这些数据服务是有数据加工者开发完成的。而这里使用即席查询的过程是数据消费者。但是,工具流程上可以这么打通。

异构融合查询

跨源异构,通俗来说就是能把两种不同类型的表间关联起来进行查询。不过,是这样的话就又涉及到,这个功能是放在离线开发部分让数据加工者来进行异构融合查询合适,还是放在数据运营部分,让数据消费者合适。

很显然,数据消费者之需要消费已经加工好的数据,而已经加工好的数据,存储在单一的类型上是更合理的。所以个人认为如果有数据的异构融合查询,那么放在离线开发部分可能更合适。也就是说在数据消费者领域,异构融合查询的需求是不是真实存在,是可以探讨一下的问题。

本文由人人都是产品经理作者【数据小吏】,微信公众号:【数据小吏】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。