惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Jina AI
Jina AI
C
Cisco Blogs
博客园 - Franky
有赞技术团队
有赞技术团队
雷峰网
雷峰网
博客园 - 聂微东
WordPress大学
WordPress大学
酷 壳 – CoolShell
酷 壳 – CoolShell
NISL@THU
NISL@THU
P
Palo Alto Networks Blog
博客园_首页
阮一峰的网络日志
阮一峰的网络日志
美团技术团队
Hugging Face - Blog
Hugging Face - Blog
宝玉的分享
宝玉的分享
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
T
Threat Research - Cisco Blogs
T
Tailwind CSS Blog
T
Threatpost
D
Darknet – Hacking Tools, Hacker News & Cyber Security
W
WeLiveSecurity
大猫的无限游戏
大猫的无限游戏
V
Visual Studio Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
S
SegmentFault 最新的问题
博客园 - 【当耐特】
爱范儿
爱范儿
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
A
Arctic Wolf
PCI Perspectives
PCI Perspectives
S
Secure Thoughts
The Cloudflare Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
L
LINUX DO - 最新话题
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
博客园 - 三生石上(FineUI控件)
J
Java Code Geeks
The Last Watchdog
The Last Watchdog
人人都是产品经理
人人都是产品经理
罗磊的独立博客
S
Schneier on Security
腾讯CDC
Google DeepMind News
Google DeepMind News
小众软件
小众软件
量子位
N
News and Events Feed by Topic
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Hacker News: Ask HN
Hacker News: Ask HN
V
V2EX

博客园 - zqzdong

word 宏(图片锐度和对比度) Maven父子结构的项目依赖使用以及打包依赖 在linux下执行不带主函数的jar Maven项目打包 eclipse调用c语言类库 scala rdd的交集 差集 并集 cdh 的 oozie时间校准 java 调用c语言类库 java jar包代码混淆 在windows下查找java服务cup过高问题 AES 加密解密 logger日志配置 flume配置及其执行命令 java批量导入数据 kafka配置及其使用 kafkaConsumer(从topic 拿数据存入hdfs) 自定义flume的sink mongodb3.2链接设置 在mongodb中存值,如果存在则修改,不存在插入
hadoop安装
zqzdong · 2017-02-24 · via 博客园 - zqzdong
1:安装好虚拟机,安装系统
2:更改Master和Slave的时间,使其时间相同:具体执行(root 用户下)
                   1): yum install -y ntpdate
                2):cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
                       cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
                       ntpdate us.pool.ntp.org  
3:  关闭防火墙:
        		service iptables status
        		#关闭防火墙
        		service iptables stop
        		#查看防火墙开机启动状态
        		chkconfig iptables --list
        		#关闭防火墙开机启动
        		chkconfig iptables off
4:设置ip和hostname
                          hostname:  vi /etc/sysconfig/network      在HOST_NAME后面加上Master或Slave
                          vi   /etc/hosts     加入Master和Slave 的  ip 及其hostname
4:安装jdk:
                1:)解压.bin文件可执行   ./bin文件名
                        解压.rpm文件,可执行 rpm   -ivh   文件名
                    2:)在     vi   /etc/profilr   配置jdk环境变量,完成后 sourcr /etc/profile
                    3:)查看本系统是32位还是64位:file /sbin/init
                    4)rpm 安装  rpm -ivh  name
5:创建用户和组:
                 1:)  groupadd hadoop    添加一个组
                    2:)  useradd hadoop -g hadoop  添加用户
                    3:)  passwd hadoop  设置用户密码为hadoop
6:安装hadoop:
                1:)传hadoop安装文件到/home/hadoop/   并解压
                   2:)修改hadoop下的etc/hadoop  的文件,具体如下(切换到hadoop用户下)               
                                第一个:hadoop-env.sh
                            		vim hadoop-env.sh
                            		export JAVA_HOME=/usr/java/jdk1.7.0_65

                        	第二个:core-site.xm
                        		<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
                        		<property>
                        			<name>fs.defaultFS</name>
                        			<value>hdfs://weekend-1206-01:9000</value>
                        		</property>
                        		<!-- 指定hadoop运行时产生文件的存储目录 -->
                        		<property>
                        			<name>hadoop.tmp.dir</name>
                        			<value>/home/hadoop/hadoop-2.4.1/tmp</value>
                                        </property>
    		
                    	第三个:hdfs-site.xml   hdfs-default.xml  (3)
                    		<!-- 指定HDFS副本的数量 -->
                    		<property>
                    			<name>dfs.replication</name>
                    			<value>1</value>
                                    </property>
    		
                    	第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
                    		mv mapred-site.xml.template mapred-site.xml
                    		vim mapred-site.xml
                    		<!-- 指定mr运行在yarn上 -->
                    		<property>
                    			<name>mapreduce.framework.name</name>
                    			<value>yarn</value>
                                    </property>
    		
                    	第五个:yarn-site.xml
                    		<!-- 指定YARN的老大(ResourceManager)的地址 -->
                    		<property>
                    			<name>yarn.resourcemanager.hostname</name>
                    			<value>weekend-1206-01</value>
                                    </property>
                    		<!-- reducer获取数据的方式 -->
                                    <property>
                    			<name>yarn.nodemanager.aux-services</name>
                    			<value>mapreduce_shuffle</value>
                                     </property>
                              第六个:slaves
                                                    Maste   Slave

hdfs namenode -format
    7:配置hadoop环境变量:类似jdk(root用户下)
    8:在hadoop根目录创建.ssh文件夹:chmod 700 .ssh
        进入.ssh文件里面执行:
            ssh-keygen -t rsa (四个回车)
            cat id_rsa.pub >> authorized_keys
            scp -r .ssh  192.168.211.134:/root/
	    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
            将公钥拷贝到要免密登陆的目标机器上
	    ssh-copy-id localhost
            然后将Slave上的id_rsa.pub   copy 到Master的authorized_keys上
            对Slave做同样操作

posted @ 2017-02-24 16:09  zqzdong  阅读(183)  评论()    收藏  举报