「大数据入门」2.Hadoop生态系统（hadoop生态系统的各个组成部分的主要功能）

数据与智能 本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理，持续输出大数据、数据分析、推荐系统、机器学习、人工智能等方向的原创文章，每周至少输出7篇精品原创。同时，我们会关注和分享大数据与人工智能行业动态。欢迎关注。

作者 | 橙子

校对 | gongyouliu

编辑 | auroral-L

全文共1491字，预计阅读时间10分钟。

小伙伴们，大家好！

欢迎大家来到数据与智能小课堂，今天的课程内容为《Hadoop生态系统》。

本次内容将分为四个部分为大家讲解：Hadoop简介、Hadoop的特点、Hadoop1.0与2.0的区别、Hadoop生态系统的组成。

1. Hadoop简介

说到hadoop不得不提起一个人——Doug Cutting，他是hadoop之父、Apache Lucene的创始人。

Hadoop是Apache旗下的开源的分布式计算平台，它可以运行在计算机集群之上，提供可靠的、可扩展的分布式计算功能。Hadoop的核心是分布式文件系统（HDFS）和并行编程框架MapReduce。

Hadoop与三遍论文密不可分：

① 2003年，谷歌发布的分布式文件系统GFS的论文，可以用于解决海量数据存储的问题。

② 2004年，谷歌发布了MapReduce的论文，可以用于解决海量数据计算的问题。

③ 2006年，谷歌发布了BigTable的论文，它是以GFS为底层数据存储的分布式存储系统。

GFS、MapReduce、BigTable就是我们经常说的“三辆马车”。

Hadoop与这三篇论文的关系是这样的：

Hadoop中的HDFS是GFS的开源实现；Hadoop中的MapReduce是谷歌MapReduce的开源实现；Hadoop中的HBase是谷歌BigTable的开源实现。

2. hadoop的特点

① 跨平台性：hadoop是基于java语言开发的，有很好的跨平台性，可以运行在Linux平台上；

② 高可靠性：hadoop中的HDFS是分布式文件系统，可以将海量数据分布冗余存储在不同的机器节点上，即使是某个机器副本上发生故障，其他的机器副本也能正常运行；

③ 高容错性：HDFS把把文件分布存储在很多不同的机器节点上，能实现自动保存多个副本，因此某个节点上的任务失败后也能实现自动重新分配；

④ 高效性：hadoop的核心组件HDFS和MapReduce，一个负责分布式存储一个负责分布式处理，能够处理PB级别的数据；

⑤ 低成本与高扩展：hadoop在廉价的计算机集群上就可以运行，因此成本比较低，并且可以扩展到几千个计算机节点上，完成海量数据的存储和计算。

3. Hadoop1.0和2.0的区别

Hadoop1.0与2.0的最大区别就是，hadoop2.0在1.0的基础上增加了一个yarn框架。

① Hadoop1.0的组成包含：hdfs、MapReduce和其他组件。

Hdfs负责数据存储，MapReduce负责数据计算以及资源调度（在进行数据处理的时候是要进行资源分配的，比如用多少CPU、内存、磁盘等等）

② Hadoop2.0的组成包含：hdfs、MapReduce、yarn和其他组件。

Hdfs负责数据存储，MapReduce负责数据计算，yarn负责资源调度

4. Hadoop生态系统的组成

Hadoop除了有两大核心组件HDFS 和MapReduce之外，还包括yarn、hbase、hive、pig、mahout、zookeeper、sqoop、flume、Apache Ambari等功能组件。

① HDFS：hadoop分布式文件系统，可以运行在大型的廉价计算机集群上，并以流的方式读取和处理海量文件。HDFS要掌握的概念有NameNode、DataNode和Secondary Namenode，后面会有专门章节为大家讲解。

② Yarn：资源调度和管理框架，其中包含ResourceManager、ApplicationMaster和NodeManager。ResourceManager负责资源管理，ApplicationMaster负责任务调度和监控，NodeManager 负责执行任务。

③ MapReduce：分布式并行编程框架，核心思想是“分而治之”。MapReduce=Map+Reduce。Map函数负责分片的工作，reduce函数负责整合归约。

④ HBase：是谷歌bigtable的开源实现。它区别于传统关系数据库的一点是：基于列式存储。传统数据库是基于行的存储，而HBase是基于列的存储，具有高效可靠的处理非结构化数据的能力。

⑤ Hive：是基于hadoop的数据仓库工具，能对数据集进行简单处理，它拥有类似SQL语言的查询语言hive-sql。

⑥ Pig：是一种数据流语言，提供了类似sql的语言pig latin，可以用来查询半结构化数据集。

⑦ Mahout：是Apache的一个开源项目，提供一些分类、聚类、过滤等等机器学习领域经典算法。

⑧ Zookeeper：是个高效的可靠的分布式协同工作系统。

⑨ Sqoop：sql-to-hadoop的缩写，意思就是在关系数据库与hadoop之间做数据交换。

⑩ Flume：海量日志收集、聚合、传输系统。它也能对数据进行简单的处理。

(11) Apache Ambari：是一种支持Apache Hadoop集群的安装、部署、配置和管理的工具。

欢迎扫描二维码关注数据与智能微信公众号，获取更多好内容，我们下次见~