大数据入门:Impala框架基础简介 大数据框架基础教程
yuyutoo 2024-10-12 00:49 19 浏览 0 评论
在大数据处理当中，核心的数据分析处理环节，衍生出了非常多的框架组件工具，基于不同场景下的需求，给出了更多可选的技术方案。比如说在交互式查询场景下，Impala就是一个不可忽视的重要选择。今天的大数据入门分享，我们就来讲讲Impala框架入门的一些基础知识。
Impala背景
Impala的出现，追溯其源头，是来自于Google的“新三篇论文”（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）之一的交互式分析工具Dremel。
根据实验环境下的测试，Impala进行数据查询，可以实现比Hive快10-100倍，其中SQL查询性能也超过了SparkSQL，号称是大数据领域当前最快的SQL查询工具。
在实际场景下，Impala提供的针对于HDFS、Hbase数据的高性能、低延迟的交互式SQL查询，基于Hive并使用内存进行计算，兼顾数据仓库，具有实时、批处理、多并发等优点，也确实性能优良，因此得到企业级用户的青睐。
Impala与Hive的关系
Impala基于Hive进行大数据分析查询，直接使用Hive的元数据库metadata，意味着Impala元数据都存储在Hive的metastore当中，并且Impala兼容Hive的绝大多数SQL语法。
在实际应用当中，要保证Impala的正常使用，需要先安装Hive，保证Hive安装成功，并且还需要启动Hive的metastore服务才行。
Impala对比Hive所使用的优化策略
Impala把整个查询分成一执行计划树，在分发执行计划后，Impala使用拉式获取数据的方式获取结果，把结果数据组成按执行树流式传递汇集，减少的了把中间结果写入磁盘的步骤，再从磁盘读取数据的开销。
使用LLVM产生运行代码，针对特定查询生成特定代码，同时使用Inline的方式减少函数调用的开销，加快执行效率。
充分利用可用的硬件指令（SSE4.2）。
更好的IO调度，Impala知道数据块所在的磁盘位置能够更好的利用多磁盘的优势，同时Impala支持直接数据块读取和本地代码计算checksum。
通过选择合适的数据存储格式可以得到最好的性能（Impala支持多种存储格式）。
最大使用内存，中间结果不写磁盘，及时通过网络以stream的方式传递。
Impala的优点
1、Impala比较快，非常快，特别快，因为所有的计算都可以放入内存当中进行完成，只要你内存足够大；
2、摈弃了MR的计算，改用C++来实现，有针对性的硬件优化；
3、具有数据仓库的特性，对Hive的原有数据做数据分析；
4、支持ODBC，JDBC远程访问。
Impala的缺点
1、基于内存计算，对内存依赖性较大；
2、改用C++编写，意味着维护难度增大；
3、基于Hive，与Hive共存亡，紧耦合；
4、稳定性不如Hive，不存在数据丢失的情况。
关于大数据入门，Impala框架基础，以上就为大家做了一个简单的介绍了。Impala这个框架，现如今也同样是Hadoop生态当中的得力干将，学习当中应该予以相应的重视。
相关推荐
- 从零搭建高可用的 MySQL 主从复制架构(基于 Linux 实战指南)
-
背景在生产环境中，单点MySQL数据库容易成为性能瓶颈或单点故障源。搭建MySQL主从复制架构，可以实现读写分离、高可用，提升系统的整体稳定性与扩展性。...
- 国外大神成功让Nexus4吃上安卓6.0:基本可正常使用
-
IT之家讯10月9日消息谷歌已经于10月6日正式开启了Nexus设备Android6.0Marshmallow系统的OTA升级推送。根据之前报道的消息，老一批的Nexus手机如Nexus4/Ne...
- 急死!CPU被挖矿了，却找不到哪个进程
-
CPU起飞了最近有朋友在群里反馈，自己服务器的CPU一直处于高占用状态，但用...
- 甜甜的安卓5.0却让手机ROOT难度大大增加
-
IT之家（www.ithome.com）：甜甜的安卓5.0却让手机ROOT难度大大增加对设备进行ROOT，毫无疑问，这是安卓最美丽的地方之一，不管是对于消费者来说还是开发者。Root意味着掌握更多的权...
- Linux基础知识（linux基础知识点及答案）
-
系统目录结构/bin：命令和应用程序。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/dev：dev是Device(设备)的缩写,该目录...
- Linux 内核 6.15 发布:内存、网络、文件系统全面升级!
-
核心增强：性能与安全双飞升！Linux内核6.15的正式版！虽然因一个临门一脚的Bug晚了几小时，但最终还是带着一堆硬核更新闪亮登场！...
- AlmaLinux 9.6 发布，新增功能亮点纷呈!
-
距离上一版本AlmaLinux9.5发布六个月后，基于5.14内核的AlmaLinux正式宣布其企业级Linux发行版的9.x系列第六个更新——AlmaLinux9.6（Sag...
- 理解Linux下的SELinux（linux seccomp）
-
理解Linux下的SELinux长久以来，每当遇到授权问题或者新安装的主机，我的第一反应是通过setenforce0命令禁用SELinux，来减少产生的权限问题，但是这并不是一个良好的习惯。这篇文章...
- 3个简单实用的网址导航网站（简洁的网站导航）
-
在我们使用电脑上网的时候经常会访问某些常用的网站，每一次都去通过搜索访问就比较浪费时间，添加在浏览器收藏夹不方便在其他电脑使用。找一个好用的网址导航网站就可以帮我们把所有常用的网址集合在一个页面，方便...
- 整点不一样的网站制作教程，教你怎么用网站模板制作网站#...
-
网站制作教程整点不一样的网站。不要再问我网站制作教程了，今天给你整个怎么用网站模板制作网站的教程。·1、登录账号进入后台。·2、选择模板。自助建站平台通常提供各种各样的网站模板，可以根据自己的需求和喜...
- 5个最好的外贸独立站模板，让你的网站更加专业
-
作为外贸行业从业者，一个专业且具有吸引力的网站是必不可少的。然而，建立一个专业的网站需要耗费大量的时间和精力，尤其是在设计和开发方面。为了帮助您缩短网站建设的时间和成本，以下是5个最好的外贸独立站模板...
- 网站建设模板 **网站建设模板:全面指南与创意构思*
-
网站建设模板**网站建设模板：全面指南与创意构思**随着互联网技术的迅猛发展，网站已成为企业、机构和个人展示自身形象、传递信息、实现交流的重要平台。本文将详细介绍网站建设的基本模板，并提供创意...
- 原地封神!一个只用套模板即可制作电子相册的网站
-
对于忙碌的年轻人来说，一键操作的模板意味着无需复杂的操作步骤，就能轻松制作出精美的电子相册。但是一个好的工具也是事关重要，最近发现了一款非常适合年轻人的模板---FLBOOK在线制作电子杂志平台，只需...
- 跨屏建站网kpfree免费网站模板2023.1.14发布更新
-
跨屏建站网kpfree免费网站模板2023.1.14发布更新，摒弃了之前的卡片式设计，采用了移动优先的设计原则，简化了页面设计风格，优化了代码，优化了图片质量，确保网页打开速度。砍掉了一些花哨而无用的...
- 响应式大型电子企业集团类网站模板源码-青柠资源网qnziyw.cn
-
模板信息：模板编号：10964模板编码：UTF8模板颜色：红色模板分类：科技、电子、数码设备适合行业：电子设备类企业模板介绍：本模板自带eyoucms内核，无需再下载eyou系统，原创设计、手工书写D...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)