FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

本文共有717个字,关键词:

问题:hive on spark在测试安装时,报错:FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 62ef334c-f6c4-46fe-b3ea-19f359defbe8

解决:可能是服务器内存不足导致,可以配置hive-site.xml文件,增加hive连接spark时间

方法:

vim hive/conf/hive-site.xml 增加下面配置

<!--Hive和spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>100000ms</value>
</property>

拓展:

之前因为把历史服务器和日志服务器放在hadoop02上,与yarn同一台服务器,也出现了这个问题

说明:

在学习数据仓库时遇到的问题,链接如下
https://www.bilibili.com/video/BV1rL411E7uz?p=78

参考:

https://www.cnblogs.com/chang09/p/16344768.html
版权声明:本文为作者原创,如需转载须联系作者本人同意,未经作者本人同意不得擅自转载。
添加新评论
暂无评论