入门客AI创业平台(我带你入门,你带我飞行)
博文笔记

揭秘大数据(二)手把手教你Hadoop运行环境搭建

创建时间:2017-06-19 投稿人: 小羊. 浏览次数:234

今天,尚硅谷大数据老师继续带领大家解析大数据。

相关资料可访问尚硅谷下载:http://www.atguigu.com/opensource.shtml

揭秘大数据(二)手把手教你Hadoop运行环境搭建

Hadoop运行环境搭建

1 虚拟机网络模式设置为NAT

揭秘大数据(二)手把手教你Hadoop运行环境搭建




揭秘大数据(二)手把手教你Hadoop运行环境搭建

最后,重新启动系统。

[root@hadoop ~]# sync

[root@hadoop ~]# reboot

2. 克隆虚拟机

1)克隆虚拟机

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

2)启动虚拟机

3. 修改为静态ip

1)在终端命令窗口中输入

vim /etc/udev/rules.d/70-persistent-net.rules

进入如下页面,删除eth0该行;将eth1修改为eth0,同时复制物理ip地址

揭秘大数据(二)手把手教你Hadoop运行环境搭建

2)修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

揭秘大数据(二)手把手教你Hadoop运行环境搭建

揭秘大数据(二)手把手教你Hadoop运行环境搭建

IPADDR=192.168.10.10

GATEWAY="192.168.10.2"

ONBOOT=yes

BOOTPROTO=static

:wq 保存退出

3)执行service network restart

揭秘大数据(二)手把手教你Hadoop运行环境搭建

4)如果报错,reboot,重启虚拟机。

4. 修改主机名

1)修改linux的hosts文件

(1)进入Linux系统查看本机的主机名。通过hostname命令查看

[root@hadoop ~]# hostname

hadoop1.atguigu.com

(2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件

#vi /etc/sysconfig/network

文件中内容

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME= hadoop101

注意:主机名称不要有“_”下划线

(3)打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名hadoop102。

(4)保存退出。

(5)打开/etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.101 hadoop102 hadoop102

(6)并重启设备,重启后,查看主机名,已经修改成功

2)修改window7的hosts文件

(1)进入C:WindowsSystem32driversetc路径

(2)打开hosts文件并添加如下内容

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

192.168.10.109 hadoop109

192.168.10.110 hadoop110

5. 关闭防火墙

1)查看防火墙状态

service iptables status

2)查看防火墙开机启动状态

chkconfig iptables --list

3)临时关闭防火墙

service iptables stop

4)关闭防火墙开机启动

chkconfig iptables off

5)开启防火墙开机启动

chkconfig iptables on

6. 在opt目录下创建文件

1)创建atguigu用户

在root用户里面执行如下操作

[root@hadoop102 opt]# adduser atguigu

[root@hadoop102 opt]# passwd atguigu

更改用户 test 的密码 。

新的 密码:

无效的密码: 它没有包含足够的不同字符

无效的密码: 是回文

重新输入新的 密码:

passwd: 所有的身份验证令牌已经成功更新。

2)设置atguigu用户具有root权限

修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

atguigu ALL=(ALL) ALL

修改完毕,现在可以用atguigu帐号登录,然后用命令 su - ,即可获得root权限进行操作。

3)在/opt目录下创建文件夹

(1)在root用户下创建module、software、tools文件夹

mkdir module

mkdir software

mkdir tools

(2)修改module、software、tools文件夹的所有者

[root@hadoop102 opt]# chown atguigu module

[root@hadoop102 opt]# chown atguigu software

[root@hadoop102 opt]# chown atguigu tools

[root@hadoop102 opt]# ls -al

总用量 24

drwxr-xr-x. 6 root root 4096 4月 24 09:07 .

dr-xr-xr-x. 23 root root 4096 4月 24 08:52 ..

drwxr-xr-x. 4 atguigu root 4096 4月 23 16:26 module

drwxr-xr-x. 2 root root 4096 3月 26 2015 rh

drwxr-xr-x. 2 atguigu root 4096 4月 23 16:25 software

drwxr-xr-x. 2 atguigu root 4096 4月 23 16:22 tools

7. 安装jdk

1)卸载现有jdk

(1)查询是否安装java软件:

rpm –qa|grep java

(2)如果安装的版本低于1.7,卸载该jdk:

rpm –e 软件包

2)在linux系统的/opt/文件下面创建software、module、tools三个文件夹

进入opt目录下:

cd /opt/

创建文件:

mkdir software

mkdir module

mkdir tools

3)用filezilla工具将jdk、eclipse、Hadoop-2.5.0.tar.gz、apache-maven-3.0.5-bin.tar.gz、和repository.tar.gz导入到opt目录下面的software文件夹下面

揭秘大数据(二)手把手教你Hadoop运行环境搭建

4)在linux系统下的opt目录中查看软件包是否导入成功。

[root@hadoop opt]# cd software/

[root@hadoop software]# ls

eclipse-jee-luna-SR2-linux-gtk.tar.gz jdk-7u79-linux-x64.gz

hadoop-2.7.2.tar.gz apache-maven-3.0.5-bin.tar.gz repository.tar.gz

5)解压jdk到/opt/module目录下

tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/

6)配置jdk环境变量

先获取jdk路径:

[root@hadoop jdk1.7.0_67]# pwd

/opt/module/jdk1.7.0_79

打开/etc/profile文件:

vi /etc/profile

在profie文件末尾添加jdk路径:

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

保存后退出:

:wq

让修改后的文件生效:

source /etc/profile

重启(如果java –version可以用就不用重启):

sync

reboot

7)测试jdk安装成功

[root@hadoop ~]# java -version

java version "1.7.0_79"

8. 安装Hadoop

1)进入到Hadoop安装包路径下:

[root@hadoop ~]# cd /opt/software/

2)解压安装文件到/opt/module下面

[root@hadoop software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

3)查看是否解压成功

[root@hadoop software]# ls /opt/module/

hadoop-2.7.2

4)配置hadoop

第一个:hadoop-env.sh

Linux系统中获取jdk的安装路径:

[root@hadoop ~]# echo $JAVA_HOME

/opt/module/jdk1.7.0_79

修改JAVA_HOME 路径:

export JAVA_HOME=/opt/module/jdk1.7.0_79

5)将hadoop添加到环境变量

获取hadoop安装路径:

[root@hadoop hadoop-2.7.2]# pwd

/opt/module/hadoop-2.7.2

打开/etc/profile文件:

vi /etc/profile

在profie文件末尾添加jdk路径:(shitf+g)

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存后退出:

:wq

让修改后的文件生效:

source /etc/profile

重启(如果hadoop命令不可以再重启):

sync

reboot

相关链接:

揭秘大数据(一)从Hadoop框架讨论大数据生态

声明:该文观点仅代表作者本人,入门客AI创业平台信息发布平台仅提供信息存储空间服务,如有疑问请联系rumenke@qq.com。
  • 上一篇:没有了
  • 下一篇:没有了