Hadoop2.7.2完全分布式環(huán)境搭建

服務器:

用戶:hadoop 

ip機器名系統(tǒng)
192.168.199.155master-hadoopubuntu desktop 15
192.168.199.157slave1-hadoopubuntu desktop 15
192.168.199.158slave2-hadoopubuntu desktop 15

 

java:

  • 版本:1.8.0_73

image

  • 路徑:/usr/local/jdk

hadoop:

  • 版本:2.7.2

  • 路徑:/usr/local/hadoop

 




開始部署

以下部署動作全部在master上執(zhí)行,slave1和slave2通過虛擬機克隆的方式生成。

設置系統(tǒng)環(huán)境變量,編輯/etc/profile,末尾添加:

image

修改hosts,編輯/etc/hosts,末尾添加:

image

配置ssh免密登陸

[hadoop@master-hadoop ~]$ ssh-keygen -t rsa

[hadoop@slave1-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@slave1-hadoop .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 600 authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 700 ../.ssh

修改hadoop配置文件(core-site.xml和hdfs-site.xml文件中根據(jù)hadoop路徑修改節(jié)點內(nèi)容)

hadoop-env.sh

image

slaves

image

core-site.xml

image

hdfs-site.xml

image

yarn-site.xml

image

mapred-site.xml

image

 

克隆虛擬機,生成slave節(jié)點(vmware克隆后網(wǎng)卡mac要重新生成,然后在ubuntu網(wǎng)絡設置里重新設置mac地址)

  1. 修改機器名,編輯/etc/hostname,文件內(nèi)容改為slave1|slave2后重啟系統(tǒng)。

  2. 在master上ssh連接slave1和slave2,測試免密碼登陸是否成功,執(zhí)行

    • ssh  slave1-hadoop

  3. 在master上啟動hadoop,執(zhí)行

    • start-all.sh

注意事項:

  1. hadoop用戶必須有/usr/local/hadoop文件夾讀寫權限

  2. ssh登陸提示The authenticity of host can't be established,修改/etc/ssh/ssh_config文件的配置,最后面添加:

StrictHostKeyChecking no

UserKnownHostsFile /dev/null


測試

image


出處:http://www.cnblogs.com/wocaca/p/5187059.html  作者:一羽賜命


澳门顶级赌场手机版| 网上百家乐官网好玩吗| 黄金岛棋牌游戏下载| 大发888 大发888娱乐城 大发888娱乐场| kk娱乐城开户| 百家乐官网双龙出海| 真人百家乐蓝盾娱乐平台| 金都娱乐城| 丽都百家乐官网的玩法技巧和规则 | 墓地风水24山| 百家乐贴士介绍| 葡京百家乐官网玩法| 奥斯卡百家乐官网的玩法技巧和规则 | 威尼斯人娱乐城易博| 广东省| 百家乐最长的缆| 华硕百家乐的玩法技巧和规则 | 百家乐的规则博彩正网| 宝都棋牌游戏| 百家乐注码法| 网上百家乐官网哪里开户| 百家乐合法| 大发888手机注册送钱| 百家乐真人视屏游戏| 线上百家乐平玩法| 赌百家乐官网的玩法技巧和规则| 网络棋牌室| 南京百家乐赌博现场被| 百家乐官网破解软件真的有用吗 | 大发888娱乐城登陆| 百家乐赌博是否违法| 至尊百家乐官网20130301| 大发888娱乐城dknmwd| 十三张百家乐官网的玩法技巧和规则 | 新澳门百家乐官网软件下载| 百家乐娱乐场开户注册| 百家乐官网台布21点| 路单百家乐的玩法技巧和规则| 上海百家乐官网赌博| 盛世国际| 七胜百家乐赌场娱乐网规则|