惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Microsoft Azure Blog
Microsoft Azure Blog
大猫的无限游戏
大猫的无限游戏
S
Secure Thoughts
美团技术团队
Security Latest
Security Latest
月光博客
月光博客
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Simon Willison's Weblog
Simon Willison's Weblog
V
Vulnerabilities – Threatpost
N
News | PayPal Newsroom
T
Tailwind CSS Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Webroot Blog
Webroot Blog
L
LINUX DO - 最新话题
博客园 - Franky
博客园 - 【当耐特】
Hugging Face - Blog
Hugging Face - Blog
罗磊的独立博客
T
Troy Hunt's Blog
V2EX - 技术
V2EX - 技术
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Privacy International News Feed
www.infosecurity-magazine.com
www.infosecurity-magazine.com
云风的 BLOG
云风的 BLOG
L
Lohrmann on Cybersecurity
Apple Machine Learning Research
Apple Machine Learning Research
Attack and Defense Labs
Attack and Defense Labs
TaoSecurity Blog
TaoSecurity Blog
MyScale Blog
MyScale Blog
C
Cisco Blogs
P
Proofpoint News Feed
N
News and Events Feed by Topic
S
SegmentFault 最新的问题
N
News and Events Feed by Topic
Cyberwarzone
Cyberwarzone
Google DeepMind News
Google DeepMind News
P
Privacy & Cybersecurity Law Blog
NISL@THU
NISL@THU
P
Palo Alto Networks Blog
GbyAI
GbyAI
Project Zero
Project Zero
H
Hackread – Cybersecurity News, Data Breaches, AI and More
H
Heimdal Security Blog
IT之家
IT之家
Stack Overflow Blog
Stack Overflow Blog
Schneier on Security
Schneier on Security
T
The Exploit Database - CXSecurity.com
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Application and Cybersecurity Blog
Application and Cybersecurity Blog
A
Arctic Wolf

博客园 - sinodzh

从零自学Hadoop(25):Impala相关操作下 从零自学Hadoop(24):Impala相关操作上 从零自学Hadoop(23):Impala介绍及安装 Hadoop技巧(04):简易处理solr date 时区问题 从零自学Hadoop(22):HBase协处理器 从零自学Hadoop(21):HBase数据模型相关操作下 从零自学Hadoop(20):HBase数据模型相关操作上 从零自学Hadoop(19):HBase介绍及安装 Hadoop技巧(03):HostName命名带来的问题 使用Nexus搭建Maven本地仓库 Hadoop技巧(01):插件,终端权限 Hadoop技巧系列索引 从零自学Hadoop(18):Hive的CLI和JDBC 从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下 从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上 从零自学Hadoop(15):Hive表操作 从零自学Hadoop(14):Hive介绍及安装 从零自学Hadoop(13):Hadoop命令下 从零自学Hadoop(12):Hadoop命令中
Hadoop技巧(02):时间同步
sinodzh · 2016-04-21 · via 博客园 - sinodzh

阅读目录

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

     在实际部署过程中,Hadoop中服务器节点之间需要时间同步,但Hadoop集群可能需要和其他业务系统的时间进行同步,那么就会存在其他偶尔发生的问题。

     下面就这种场景进行描述。

时间同步

一:说明

  在实际部署过程中,Hadoop集群需要跟业务系统的服务器集群需要时间同步,如果时间跳动较小,娜ntp会自己纠正过来,但时间一下变化很大,可能短时间内就纠正不过来了,这样可能会照成solr,hbase等组件不能使用,照成不可能。所以我们还是需要处理这样比较少出现的情况。

二:处理

  在每个slave节点加入定时任务,每分钟进行时间同步。

     输入

* * * * * /usr/sbin/ntpdate -u master

  保存

三:crond表达式

  crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务。

 

   从图中可以看出,他的最小单位是分钟,所以这里我们定为每分钟执行一次时间同步。

--------------------------------------------------------------------

  到此,本章节的内容讲述完毕。

系列索引

  Hadoop技巧系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。