惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

量子位
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Y
Y Combinator Blog
阮一峰的网络日志
阮一峰的网络日志
人人都是产品经理
人人都是产品经理
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
IT之家
IT之家
美团技术团队
博客园_首页
Hugging Face - Blog
Hugging Face - Blog
Last Week in AI
Last Week in AI
G
GRAHAM CLULEY
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
T
Tenable Blog
雷峰网
雷峰网
T
Tor Project blog
酷 壳 – CoolShell
酷 壳 – CoolShell
Project Zero
Project Zero
Spread Privacy
Spread Privacy
A
Arctic Wolf
I
Intezer
AWS News Blog
AWS News Blog
W
WeLiveSecurity
Cyberwarzone
Cyberwarzone
S
Security @ Cisco Blogs
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 三生石上(FineUI控件)
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
博客园 - 聂微东
博客园 - 叶小钗
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
爱范儿
爱范儿
S
Schneier on Security
Hacker News: Ask HN
Hacker News: Ask HN
有赞技术团队
有赞技术团队
NISL@THU
NISL@THU
月光博客
月光博客
J
Java Code Geeks
V
Visual Studio Blog
罗磊的独立博客
宝玉的分享
宝玉的分享
T
Tailwind CSS Blog
P
Privacy & Cybersecurity Law Blog
S
SegmentFault 最新的问题
H
Heimdal Security Blog
大猫的无限游戏
大猫的无限游戏
Know Your Adversary
Know Your Adversary
The Cloudflare Blog
Scott Helme
Scott Helme
Webroot Blog
Webroot Blog

博客园 - centosboy

Thinkpad T490卡顿排查 xinference初探 diff的安装与使用 ubuntu docker运行大模型 vllm部署 zabbix监控mongodb /root/.dbshell无权限解决办法 开机启动后应用limit没有生效 关于运维工作的一点感悟 将CDLINUX装入U盘 Autossh打洞 hashlib模块 rm 防误删脚本 linux 通过inode删除文件 那些年踩过的坑 htpdate代替ntpdate同步时间 Openfire搭建聊天系统 zookeeper运维 centos ping添加丢包记录 Linux tee命令输出显示在屏幕和保存到日志文件中
hive分区表实践
centosboy · 2020-12-15 · via 博客园 - centosboy

HIVE把表组织成“分区”,这是一种根据“分区列”的值对表进行粗略划分的机制,使用分区可以加快数据分片的查询速度。

表或分区可以进一步分为“桶”。它会为数据提供额外的结构以获得更高效的查询处理。

创建分区表

CREATE TABLE bills_detail (msgid STRING,time STRING,spid STRING,opid STRING,spcode STRING,result STRING) 
PARTITIONED BY (dt STRING,type STRING) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
  表结构

hive> desc bills_detail;
OK
msgid                   string                                      
time                    string                                      
spid                    string                                      
opid                    string                                      
spcode                  string                                      
result                  string                                      
dt                      string                                      
type                    string                                      
                 
# Partition Information          
# col_name              data_type               comment             
                 
dt                      string                                      
type                    string

2.导入数据

load data local inpath '/home/hive/201601notify.txt' into table bills_detail partition(dt='201601',type='notifySmsDeliveryReceipt');
load data local inpath '/home/hive/201601sendsms.txt' into table bills_detail partition(dt='201601',type='sendSms');
hive中数据实际路径:

/apps/hive/warehouse/bills_detail/dt=201601/type=sendSms/201601sendsms.txt

3.查询数据

hive> select * from bills_detail where dt='201601' and type='sendSms' limit 10;