问题：python后台，使用zipfile创建zip文件，并通过接口上传到azkaban，报错Installation Failed.
Error unzipping file

解决：排查发现将打包的zip文件下载到windows是可以使用的，但是在linux上就不行，最后发现是因为打包后zip文件没有close

方法：

from zipfile import ZipFile
newzip = ZipFile(zipfile_path, "w")
newzip.write(azkaban_file, 'azkaban.project')
newzip.close()

问题：sqoop如何将数据export到dm8数据库？

解决：需要指定驱动

方法：

bin/sqoop export \
--driver dm.jdbc.driver.DmDriver \
--connect jdbc:dm://hadoop02:5236/jck?useSSL=false\&characterEncoding=UTF-8 \
--table zy \
--username dmuser \
--password dmpassword \
--export-dir /warehouse/database/jck/zy \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '\n'

阅读全文

问题：azkaban通过接口创建定时任务时如何传递参数？

解决：使用flowOverride参数

方法：

params = {
    'session.id': session_id,
    'ajax': 'scheduleCronFlow',
    'projectName': 'myProject',
    'flow': 'myProject',
    'flowOverride[dt]': '',
    'cronExpression': cron
}
res = requests.post('%s/schedule' % SCHEDULE_HOST, params=params)

阅读全文

问题：hadoop集群datanode没有启动

解决：因为多次格式化namenode，出错了

方法：

删除各节点的data和logs目录，然后重新在主节点上进行namenode格式化

阅读全文

问题：使用datagrip查看hive表时，发现表的注释乱码，如何解决？

解决：修改hive元数据表COLUMNS_V2中COMMENT字段编码为utf8，修改hive-site.xml连接方式

方法：
1、修改hive元数据库

// 解决列名注释乱码
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
// 解决表名注释乱码
alter table TABLE_PARAMS modify column PARAM_VALUE MEDIUMTEXT character set utf8;

阅读全文