惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

H
Help Net Security
博客园 - Franky
GbyAI
GbyAI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
爱范儿
爱范儿
IT之家
IT之家
酷 壳 – CoolShell
酷 壳 – CoolShell
aimingoo的专栏
aimingoo的专栏
博客园_首页
MongoDB | Blog
MongoDB | Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Recent Announcements
Recent Announcements
Scott Helme
Scott Helme
有赞技术团队
有赞技术团队
M
MIT News - Artificial intelligence
C
CERT Recently Published Vulnerability Notes
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Jina AI
Jina AI
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
L
LangChain Blog
L
LINUX DO - 最新话题
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
H
Hacker News: Front Page
MyScale Blog
MyScale Blog
P
Palo Alto Networks Blog
G
Google Developers Blog
Google DeepMind News
Google DeepMind News
AI
AI
T
Troy Hunt's Blog
Microsoft Azure Blog
Microsoft Azure Blog
阮一峰的网络日志
阮一峰的网络日志
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Vercel News
Vercel News
Microsoft Security Blog
Microsoft Security Blog
罗磊的独立博客
S
Secure Thoughts
大猫的无限游戏
大猫的无限游戏
博客园 - 叶小钗
人人都是产品经理
人人都是产品经理
Blog — PlanetScale
Blog — PlanetScale
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
S
Security @ Cisco Blogs
Cloudbric
Cloudbric
E
Exploit-DB.com RSS Feed
Attack and Defense Labs
Attack and Defense Labs

博客园 - cspfeng

wonderware historian 10安装配置 从u盘安装XP [原创]数独解答程序 jdbc连接oracle rac服务器 再战徐州 网站投票程序 《面向对象分析与设计(uml2.0)》不懂之处 委托学习笔记[摘自msdn] 旧地重游 彼得·林奇的基金投资法则[转载] [转]项目经理必读法律法规一览表 [转]有关加薪申请资料 一周损兵又折将 [原]防火墙安装配置(日志) 再见2006,奋斗2007 防火墙安装配置(准备) 徐州项目顺利验收 悲惨的圣诞节 接近岁末,今日股市收盘大跳水
hadoop学习之路1--centos7群集安装
cspfeng · 2019-08-27 · via 博客园 - cspfeng

一、              安装centos7

1、  设置硬盘为单文件40G、CPU 2核、内存2G。其他默认。

2、  安装时选择gnome,具备操作界面,并增加hadoop的账号。

a)         Root密码为centos7x64

b)         hadoop的密码为123

安装介质为:CentOS-7-x86_64-DVD-1810。

3、  使用root账户登陆

4、  配置网络,将自动获取地址修改为手动。Ip地址修改为 192.168.79.100

4、使用“终端”关闭防火墙。

firewall-cmd --state             看看防火墙状态

systemctl stop firewalld.service       关闭防火墙

systemctl disable firewalld.service       禁用防火墙

 

5、  安装java,查看Java版本

java -version

 

卸载openjdk

查看已安装文件:rpm -qa | grep java

 

获取权限:su root

开始删除:

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64

查看删除情况:java –version

 

下载java12版本。通过界面在/usr下建立java文件夹。将java包copy到文件夹下,解压缩,最终形成目录:/usr/java/ jdk-12.0.2

找到:/etc/ profile 文件,并打开它,在文档末尾增加

export JAVA_HOME=/usr/java/jdk-12.0.2

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

激活配置文件:source /etc/profile

 

6、通过VM 制作多个克隆

主节点:hadoopM

从节点1:hadoopS1

从节点2:hadoopS2

7、修改IP地址,

将每个机器的IP修改,为100~102;其他保持不变,具体参数见下表

8、修改主机名

a.修改hostname

①# hostname 

查看当前主机名

②#hostnamectl set-hostname  hadoopM

修改主机名

③#reboot

重启

 

方法二:直接界面修改:

 

9、修改hosts文件

输入vi /etc/hosts命令:

打开文件后,按i进入编辑模式,最后插入

192.168.79.100   hadoopM

192.168.79.101   hadoopS1

192.168.79.102   hadoopS2

按esc进入命令模式,输入:wq保存并退出。然后重启电脑

vm名称

名称

hostname

ip

子网掩码

网关

CentOS7x64M

Hadoop主节点

hadoopM

192.168.79.100

255.255.255.0

192.168.79.2

CentOS7x64S1

Hadoop从节点1

hadoopS1

192.168.79.101

255.255.255.0

192.168.79.2

CentOS7x64S2

Hadoop从节点2

hadoopS2

192.168.79.102

255.255.255.0

192.168.79.2

方法二:

10、配置免密登陆。

查看ssh状态(三台机器都要执行):systemctl status sshd.service

设置开启自启动:systemctl enable sshd.service

A、生成秘钥(三台机器都要执行):ssh-keygen -t rsa

(查看文件夹文件:进入.ssh目录。cd /root/.ssh)

 

B、设置权限(三台机器都要执行):
cd ~
chmod 700 .ssh                                                                                                
chmod 600 .ssh/*                                                                                              
ls -la .ssh  

 

C、把公钥文件放入授权文件中(三台机器都要执行)

cd /root/.ssh

cat id_rsa.pub >> authorized_keys

 

配置:ssh hadoops1

注意网络是否开启。如果未开启可能会出现以下情况。或者说ssh服务未开启。Ssh使用的是22的端口

 

D、将其他机器的公钥拷贝到第一台(hadoopm)机器authorized_keys文件中:

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip

 

F、将第一台机器(hadoopm)的authorized_keys复制到其他机器

scp /root/.ssh/authorized_keys ip:/root/.ssh/

 

G、配置完毕后测试免密登陆

ssh hadoops1

 

参考资料:

https://blog.csdn.net/hliq5399/article/details/78193113 史上最详细的Hadoop环境搭建

https://www.cnblogs.com/mengzj233/p/9756099.html  Centos7 搭建 hadoop3.1.1 集群教程

https://blog.csdn.net/code__online/article/details/80178032  hadoop集群搭建(超详细版)

https://www.cnblogs.com/sxdcgaq8080/p/7492426.html【Linux】CentOS7下安装JDK详细过程

https://www.jb51.net/article/94599.htm   Linux下实现免密码登录(超详细)

https://www.cnblogs.com/koudaiyoutang/p/10212814.html   centos7:ssh免密登陆设置