ubuntu 系统安装hadoop-白红宇

ubuntu 系统安装hadoop

阅读量：5452 次

发布时间：2019-06-15

本文共 1750 字，大约阅读时间需要 5 分钟。

设置网络

给系统root 用户设置密码才可以登陆root用户
sudo passwd root

设置开源镜像地址
vi /etc/apt/sources.list

学会更新命令
apt-get update :更新下资源
apt-get upgrade：更新所有系统软件
apt-get upgrade gimp：更新gimp软件
apt-get install ：安装软件

安装jdk
tar zxvf

拷贝机器

改名主机名字 host 地址
vi /etc/hostname

配置免密码登陆
ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ：追加到自己
cat /opt/id_rsa.pub >> ~/.ssh/authorized_keys：追加到别人

安装hadoop

配置etc/hadoop/hadoop-env.sh文件

sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh  找到“export JAVA_HOME=”部分，修改为本机jdk路径

配置etc/hadoop/core-site.xml文件

sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml  在
      中间添加如下内容：  master为namenode主机名，即/etc/hosts文件里的名字


        
        
     
      hadoop.tmp.dir
         
     
      /export/data/hadoop

配置hdfs-site.xml文件，若路径下没有此文件，则将hdfs-site.xml.template重命名


        
        
       
        dfs.replication
         
       
        2
         
        
        
        
       
        dfs.namenode.secondary.http-address
         
       
        cs-2:50090
         
        
      
       1
      中间的数字表示slave节点数

配置mapred-site.xml


       
       
       
        mapreduce.framework.name
                
       
        yarn

配置yarn-site.xml


        
                 
       
        yarn.resourcemanager.hostname
         
       
        cs-1
             
            
        
        
       
        yarn.nodemanager.aux-services
         
       
        mapreduce_shuffle

向slaves文件中添加slave主机名，一行一个
```
cs-1  cs-2  cs-3
```

环境变量配置
命令:vi /etc/profile
export HADOOP_HOME=/export/server/hadoop-2.7.6
export PATH=${JAVA_HOME}/bin:$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
重新加载环境变量：source /etc/profile