惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
C
CERT Recently Published Vulnerability Notes
GbyAI
GbyAI
Google DeepMind News
Google DeepMind News
C
CXSECURITY Database RSS Feed - CXSecurity.com
AWS News Blog
AWS News Blog
V
Vulnerabilities – Threatpost
T
Tenable Blog
P
Proofpoint News Feed
C
Check Point Blog
T
The Exploit Database - CXSecurity.com
F
Full Disclosure
P
Privacy & Cybersecurity Law Blog
美团技术团队
U
Unit 42
C
Cyber Attacks, Cyber Crime and Cyber Security
阮一峰的网络日志
阮一峰的网络日志
Simon Willison's Weblog
Simon Willison's Weblog
量子位
AI
AI
Spread Privacy
Spread Privacy
Help Net Security
Help Net Security
Know Your Adversary
Know Your Adversary
IT之家
IT之家
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
P
Proofpoint News Feed
Recent Commits to openclaw:main
Recent Commits to openclaw:main
L
LangChain Blog
I
Intezer
T
The Blog of Author Tim Ferriss
爱范儿
爱范儿
月光博客
月光博客
Recorded Future
Recorded Future
O
OpenAI News
WordPress大学
WordPress大学
Microsoft Security Blog
Microsoft Security Blog
J
Java Code Geeks
Y
Y Combinator Blog
Engineering at Meta
Engineering at Meta
S
Security @ Cisco Blogs
Recent Announcements
Recent Announcements
P
Privacy International News Feed
NISL@THU
NISL@THU
MongoDB | Blog
MongoDB | Blog
W
WeLiveSecurity
B
Blog RSS Feed
Blog — PlanetScale
Blog — PlanetScale
博客园 - Franky
Cyberwarzone
Cyberwarzone
H
Hacker News: Front Page

博客园 - 季石磊

jps 报process information unavailable解决办法 Jobtracker重启Job recovery过程分析 hadoop & hbase 上下线 Hbase性能优化 Poor performance running Hadoop on RHEL 6.2 or later when transparent hugepage compaction is enabled ldconfig几个需要注意的地方[转] [转]HBase性能优化方法总结 centos 查看版本 关于Hbase集群需要使用DNS域名解析的体会 修改Hadoop集群的备份数 [转载]ext4的noatime 指定HADOOP_HOME位置的三种方法 Windows下 Python 安装包的配置 django1.4测试环境 css样式,图片路径问题解决 Python用subprocess的Popen实现用户切换 CentOS 6安装JDK及系统配置 mapreduce程序运行避免手动删除output目录 Hadoop运维操作 HDFS Permissions & Acls
HDFS配置设置
季石磊 · 2013-01-09 · via 博客园 - 季石磊

在多人共用HDFS的环境下,配置设置非常重要。特别是在Hadoop处理大量资料的环境,如果没有配额管理,很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号,所有在管理上最好让每个账号仅操作某一个目录,然后对目录设置配置。

        设定方法有两种:

    • Name Quotas:设置某一个目录下文件总数
    • Space Quotas:设置某一个目录下可使用空间大小

        默认情况下Hdfs没有任何配置限制,可以使用  hadoop fs -count 来查看配置情况

               hadoop fs -count -q /user/seamon

        以下是结果,none和inf表示没有设置配额

QUOTA   REMAINING_QUOTA   SPACE_QUOTA    REMAINING_SPACE_QUOTA     DIR_COUNT FILE_COUNT   CONTENT_SIZE FILE_NAME
none       inf                                none                     inf                                             6                                        15

1. Name Quotas

       计算公式:QUOTA – (DIR_COUNT + FILE_COUNT) = REMAINING_QUOTA

       这里的 10000 是指 DIR_COUNT + FILE_COUNT = 10000,最大值為 Long.Max_Value       

       启用设定:hadoop dfsadmin -setQuota 10000 /user/seamon

       清除設定: hadoop dfsadmin -clrQuota /user/seamon

2. Space Quotas

       计算公式:SPACE_QUOTA – CONTENT_SIZE = REMAINING_SPACE_QUOTA

       可以使用 m, g, t 代表 MB, GB, TB

       启用设定: hadoop dfsadmin -setSpaceQuota 1g /user/seamon/

       清除設定: hadoop dfsadmin -clrSpaceQuota /user/seamon

       这里需要特别注意的是“Space Quota”的设置所看的不是Hdfs的文件大小,而是写入Hdfs所有block块的大小,假设一个文件被切分为2个blocks,在core-site.xml里面设置 dfs.block.size=64MB,dfs.replication=3,那么该文件所需要的存储空间为:2 * 64M * 3 =  384MB

       如果一个小文件(例如,1k大小的文件)被上传到hdfs,该文件并不能占满一整个blok,但是按照hdfs配置规则也需要按照一个blok计算,即存储空间为:1 x 64MB x 3 = 192MB

3. 其它事项

       hdfs的配额管理是跟着目录走,如果目录被重命名,配额依然有效。

       麻烦的是,在设置完配额以后,如果超过限制,虽然文件不会写入到hdfs,但是文件名依然会存在,只是文件size为0。当加大配额设置后,还需要将之前的空文件删除才能进一步写入。

       如果新设置的quota值,小于该目录现有的Name Quotas 及 Space Quotas,系统并不会给出错误提示,但是该目录的配置会变成最新设置的quota