问题:hive on spark在测试安装时,报错:FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 62ef334c-f6c4-46fe-b3ea-19f359defbe8
解决:可能是服务器内存不足导致,可以配置hive-site.xml文件,增加hive连接spark时间
方法:
vim hive/conf/hive-site.xml 增加下面配置
<!--Hive和spark连接超时时间-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>100000ms</value>
</property>
拓展:
之前因为把历史服务器和日志服务器放在hadoop02上,与yarn同一台服务器,也出现了这个问题
说明:
在学习数据仓库时遇到的问题,链接如下
https://www.bilibili.com/video/BV1rL411E7uz?p=78
参考:
https://www.cnblogs.com/chang09/p/16344768.html