前期回顾：

大数据学习笔记1——hdfs架构原理

1、安装

从官网
https://hadoop.apache.org/releases.html下载所需版本。

把tar.gz文件上传到linux系统环境中解压即可。

2、主要文件配置

HDFS配置文件存放在Hadoop安装目录下的etc/hadoop下，主要与core-site.xml和hdfs-site.xml两个文件相关。

core-site.xml配置环境变量

<configuration>

<property>

<!-- 指定hadoop 运行时产生文件的存储路径-->

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<!-- hdfs namenode 的通信地址-->

<name>fs.defaultFS</name>

<value>hdfs://hadoop:9000</value>

</property>

<property>

<name>hadoop.proxyuser.bigdata.groups</name>

<value>hadoop</value>

</property>

<property>

<name>hadoop.proxyuser.bigdata.hosts</name>

<value>hadoop</value>

</property>

</configuration>

hdfs-site.xml配置文件系统

<configuration>

<property>

<!-- 指定HDFS 存储数据的副本数目，默认情况下是3 份-->

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<!-- name node 存放name table 的目录-->

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<!-- data node 存放数据block 的目录-->

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

mapred-site.xml配置计算框架

<configuration>

<property>

<!-- 指定mapreduce 编程模型运行在yarn 上-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml配置yarn

<configuration>

<property>

<!-- mapreduce 执行shuffle 时获取数据的方式-->

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hadoop:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop:18088</value>

</property>

</configuration>

下篇：大数据学习笔记3——hdfs 文件系统shell命令（1）