惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
大猫的无限游戏
大猫的无限游戏
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 叶小钗
月光博客
月光博客
Last Week in AI
Last Week in AI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
人人都是产品经理
人人都是产品经理
阮一峰的网络日志
阮一峰的网络日志
罗磊的独立博客
IT之家
IT之家
美团技术团队
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Hugging Face - Blog
Hugging Face - Blog
博客园_首页
S
SegmentFault 最新的问题
宝玉的分享
宝玉的分享
博客园 - Franky
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Jina AI
Jina AI
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
The Cloudflare Blog
博客园 - 司徒正美
爱范儿
爱范儿

博客园 - duanxz

理论知识 skill如何创建 LLM相关图 LangChain 入门:从 0 到 1 搞懂 LLM 应用开发框架​ langChain、LangGraph、autoGen、CrewAI、dify、cozeLLM开发工具 Spring AI vs LangChain4j DIFY 与 LangChain LangChain快速入门 LangChain大模型应用开发介绍 LangChain DIfy区别 Ollama是什么? Prompt、RAG、微调 RAG or 微调 微调 RAG搜索增强生产 向量数据库 LLM2 Transformer 模型(能理解“句子顺序”和“上下文”的神经网络架构) 自然语言处理(NLP)发展脉络 对比 AI的LLM、RAG、MCP、Agent
机器学习之UDF/UDTF/UDAF
duanxz · 2026-07-06 · via 博客园 - duanxz

UDF(用户自定义标量函数)、UDTF(表值函数)和UDAF(用户自定义聚合函数)是大数据与数据库处理(如 Hive、Spark、Flink、MaxCompute)中处理不同数据维度的核心函数类型。 [1, 2, 3]

1. UDF (User-Defined Function) 标量函数

  • 特点:一进一出(输入一行,输出一行)。
  • 应用场景:对单列数据进行格式转换、数学计算或字符串处理。例如,将字符串全转为大写、计算两个日期的差值。
  • 对应内置函数:UPPER(), TRIM(), SUBSTR()。 [1, 2]

2. UDTF (User-Defined Table-Valued Function) 表值函数

  • 特点:一进多出(输入一行,输出多行或多列)。
  • 应用场景:将一行包含多个元素的字符串拆分成多行(例如分词、JSON 数组展开)。
  • 对应内置函数:EXPLODE(), LATERAL VIEW(搭配使用)。 [1, 2]

3. UDAF (User-Defined Aggregation Function) 聚合函数

  • 特点:多进一出(输入多行数据,通过分组聚合成一行)。
  • 应用场景:必须配合 GROUP BY 使用,对分组内的数据求和、求平均值或求最大/最小值。
  • 对应内置函数:SUM(), AVG(), COUNT(), MAX()