0328-如何在退出Hue后关闭Spark会话
yuyutoo 2024-10-16 15:45 7 浏览 0 评论
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.问题描述
- 前置条件：
1.使用Hue登录执行Hive查询
2.Hive设置执行引擎为Spark
Hive配置了Spark作为默认执行引擎，在通过Hue执行Hive查询后，退出Hue后Spark的Session并为随着Hue的退出而关闭，操作如下：
登录Hue执行SQL语句，可以看到提交的是一个Spark作业
查看Yarn的界面显示该Spark Session正在运行
此时退出Hue界面，观察0003的作业任然在运行并为随着Hue的退出而关闭
如果不同的用户登录Hue执行Hive的SQL操作，会产生大量的SparkSession未关闭问题，导致占用集群资源。
2.解决方法
针对上述问题，有如下两种方式解决：
1.从CDH5.8版本开始，在Hue上提供一个用来关闭Spark Session的按钮，用户可以使用此功能来关闭当前会话，操作如下：
点击Session，进入如下界面
点击“Close”关闭当前Spark Session
查看Yarn的8080界面，确认该Session是否已关闭
此时可以看到Spark Session已经关闭。
2.通过设置HiveServer2的会话超时参数，默认为12小时，可以将会话超时时间设置的短一些，如果用户在设置的超时时间未使用他创建的会话则会话会自动关闭，设置方式如下：
登录CM进入Hive服务的配置界面
在搜索栏搜索“Idle Session Timeout”，在如下配置项配置会话超时时间
保存配置，回到CM主要根据提示重启相应服务。
3.总结
1.由于Hive使用Spark引擎，所以不同的用户登录Hue执行Hive查询都会创建一个Spark Session会话，如果不关闭会话就会产生大量的未关闭Spark作业占用集资源。
2.同一个用户重复登录Hue不会重复的创建Spark Session
3.上述提供两种方式来关闭会话，一种需要用户手动的操作关闭会话，另一种方式通过HiveServer2服务的会话超时时间来自动结束Spark Session，在使用中可以将两种方式结合起来共同使用。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
相关推荐
- pdf，word，ppt，rar，mp4等等文档在线预览
-
背景：移动端的智能化已经被大多数人接受了，但是有时一些文件格式要在移动端打开，需要安装特定的软件才行，这个就是很多人不喜欢的，要看个文档还要下载安装一个app，实在麻烦，那能不能直接在线就预览文件呢具...
- Qt/C++音视频开发69-保存监控pcm音频数据到mp4文件/监控录像
-
一、前言用ffmpeg做音视频保存到mp4文件，都会遇到一个问题，尤其是在视频监控行业，就是监控摄像头设置的音频是PCM/G711A/G711U，解码后对应的格式是pcm_s16be/pcm_alaw...
- 全能下载神器文件蜈蚣体验（全能文件王）
-
文件蜈蚣是一款开源免费的软件，在GitHub上公布了所有源代码，自身非常绿色环保，没有流氓后台也没广告，和莫名弹窗的同行相比，可算得上是一股清流。文件蜈蚣的使用很简单，解压后运行一次其中的exe，完成...
- 支持HLS和mp4在线播放的源码（hls支持的视频编码格式）
-
今天安利的一套在线视频播放源码，它不是安卓端，也不是PC端。你只需要部署一下这个单页面源码即可。使用php+mysql+nginx即可。任何版本都能运行。HLSDOWNLOAD网页打开服务器地址:1...
- 大模型微调知识与实践分享（模具微调结构）
-
一、微调相关知识介绍...
- IOS遇到的几个H5坑、h5键盘弹起遮挡输入框的处理
-
一、IOS遇到的几个H5坑1、ios端兼容input光标高度 问题描述：input输入框光标，在安卓手机上显示没有问题，但是在苹果手机上当点击输入的时候，光标的高度和父盒子的高度一样。例如下图，左...
- 实用技巧:如何在win10中安装没有管理员权限的软件
-
通常，我们可能会遇到需要在Windows10电脑上安装软件，但在该电脑上没有管理员权限的情况，由于不是管理员，所以无权在在电脑上安装软件，这让人非常苦恼。事实上，这是微软专门设计的一个安全功能，它的...
- 基于ENVI的Landsat 7遥感影像处理与多种大气校正方法对比
-
1数据导入与辐射定标关于数据的下载，网络中相关资源很多，这里不再赘述。...
- 在 Python 中为无服务器应用设计安全租户隔离
-
软件即服务（SaaS）已经成为当今一种非常普遍的软件交付方式。虽然这方便了用户访问，而且消除了用户的运营开销，但这也改变了以前的模式，将实现SLA以及现代云原生组织所期望的所有安全和数据隐私要求的...
- 基于JFinal的后台业务框架通用模块
-
jcbase是基于JFinal2.x的后台业务框架通用模块，包括系统权限模块、APP版本管理、日志管理、数据字典等使用的技术要点后端使用JFinal2.x前端页面是基于acev1.3模板改造的，更方便...
- PHOTOSHOP图层技巧（掌握photoshop合并图层技巧）
-
你会图层吗？不会？喔，那你肯定不会PHOTOSHOP。为什么那么说呢？因为图层可以说是PHOTOSHOP的核心，几乎PHOTOSHOP所有的应用都是基于图层的，很多强劲的图像处理功能也是图层所提供的，...
- Cadence Allegro背钻设置详细介绍教程
-
CadenceAllegro背钻设置详细介绍教程...
- Pt中间层显著降低PEM水电解电子传输阻抗
-
在质子交换膜水电解（PEMWE）中，阳极OER的Ir基催化剂成本高昂，成为制约产业化的重要瓶颈。虽然非晶态IrOx具有高OER活性，但其电导率较差、与多孔钛PTL之间接触不良，往往导致催化剂层利用率低...
- GIMP 教程:制作 Duotone 双色调效果
-
今天我们学习如何使用GIMP这款强大的开源图像编辑器，制作流行的Duotone（双色调）效果。Duotone效果的核心原理，是将图像的色调信息映射到两种主要颜色上。通常，一种颜色用于图像的亮部...
- CAD打印的时候线条没了?原来是这些设置出了错
-
每当我们辛辛苦苦绘制完一张图纸之后，打印出图的时候总会出现各种各样的问题，不知道大家有没有遇到这种情况：在预览的时候还一切正常，但是打印出来之后就会发现很多线条都会不见了或者部分缺失。那么到底是怎么一...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)