Hadoop的数据仓库框架-Hive和Impala比较
yuyutoo 2024-10-12 00:48 9 浏览 0 评论
大数据技术文章汇总-Hadoop、MapReduce、Storm、Spark、Flink
Hive和Impala的关系
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。
Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata，意味着Impala元数据都存储在Hive的metastore中。并且Impala兼容Hive的SQL解析，实现了Hive的SQL语义的子集。
Hive和Impala的不同点
1. Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询。
2. Hive 依赖于MapReduce 计算框架，Impala 把执行计划表现为一颗完整的执行计划树，直接分发执行计划给各个Impalad 执行查询。
3. Hive 在执行过程中，如果内存发不下所有数据则会使用外存，以保证查询能顺利执行完成；Impala 在遇到内存放不下数据时，不会利用外存，所以Impala 目前处理查询时会受到一定的限制。
Hive 和 Impala 的相同点
1. Hive 与 Impala 使用相同的存储数据池，都支持把数据存储于HDFS和HBase中。
2. Hive 与 Impala 使用相同的元数据。
3. Hive 与 Impala 中对SQL的解释处理比较相似，都是通过词法分析生成执行计划。
Impala 的目的并不是替换现有的MapReduce 工具。把 Hive 和Impala配合使用效果更佳，可以先使用Hive 进行数据转换处理，之后再使用Impala在Hive 处理后的结果数据集上进行快速的数据分析。
相关推荐
- 网络规划建设原来也可以这么简单!
-
废话少说，直接上干货。天气炎热，请各位看官老爷静心阅读。整体思路下图是关于网络建设的所有相关领域，接下来我为大家逐一讲解。网络分层...
- 网络规划设计师笔记-第 1 章 计算机网络原理
-
计算机网络原理1.1计算机网络概论（P1-10）...
- 别输在远见上，网工这样做职业规划，比啥都强
-
01职业中的规划，人生中的buff“职业规划“这个词，其实对很多年轻人，包括曾经年轻的我来说，都不屑一提。...
- 网络规划设计师学习中(个人自学笔记分享1)，有一起学习的吗?
-
网络规划设计师，上午考试内容学习：第一章：计算机网络概述（上部分）：如果你也在一起学习，那么我们来一起学习吧！坚持1年，争取明年一次性通过！...
- 在微服务中使用 ASP.NET Core 实现事件溯源和 CQRS
-
概述：事件溯源和命令查询责任分离（CQRS）已成为解决微服务设计的复杂性的强大架构模式。基本CQRS表示形式在本文中，我们将探讨ASP.NETCore如何使你能够将事件溯源和CQRS...
- 用 Nginx 部署 ASP.NET Core 应用程序
-
用Nginx部署ASP.NETCore应用程序步骤如下：在Linux中安装.NETCore运行时和Nginx：...
- Asp.net Core启动流程讲解(一)（asp.net core 入门）
-
asp.netcore默认项目包括项目根目录级的Startup.cs、Program.cs、appsettings.json（appsettings.Development.json）launch...
- 十天学会ASP之第五天（十天学会asp教程）
-
学习目的：学会数据库的基本操作1（写入记录）数据库的基本操作无非是：查询记录，写入记录，删除记录，修改记录。今天我们先学习写入记录。先建立一个表单：<formname="form1"met...
- ASP.NET Core 的 WebApplication 类
-
ASP.NETCore提供了3个主机类（Host）。这些类用于配置应用、管理生命周期和启动Web服务。...
- ASP.NET Core中的键控依赖注入（.net依赖注入原理）
-
大家好,我是深山踏红叶,今天我们来聊一聊ASP.NETCore中的FromKeyedServices,它是在.Net8中引入的。这一特性允许通过键（如字符串或枚举）来注册和检索依赖注入（D...
- Asp.net常用方法及request和response-a
-
asp.net教程asp.net常用方法:1、Request.UrlReferrer请求的来源，可以根据这个判断从百度搜的哪个关键词、防下载盗链、防图片盗链，可以伪造(比如迅雷)。(使用全局一般处理...
- asp.net常考面试题（aspnet题库）
-
asp.net常考面试题一，列举ASP.Net页面之间传递值的几种方式？1，使用QueryString，如：......?id=1;response.Redirect()......2，使用Sessi...
- 在Windows系统搭建.NET Core环境并创建运行ASP.NET网站
-
微软于6月27日在红帽DevNation峰会上正式发布了.NETCore1.0、ASP.NET1.0和EntityFrameworkCore1.0，其将全部支持Windows、OSX和...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)