问题：使用datagrip查看hive表时，发现表的注释乱码，如何解决？

解决：修改hive元数据表COLUMNS_V2中COMMENT字段编码为utf8，修改hive-site.xml连接方式

方法：
1、修改hive元数据库

// 解决列名注释乱码
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
// 解决表名注释乱码
alter table TABLE_PARAMS modify column PARAM_VALUE MEDIUMTEXT character set utf8;

阅读全文

问题：使用pyhive连接后使用pandas会预警，让使用sqlalchemy

方法：

from sqlalchemy.engine import create_engine
from .config import config

database_config = { 
    'host': config['HV_SVR'],
    'port': 10000,
    'auth': "CUSTOM",
    'database': config['HV_DB'],
    'user': config['HV_USER'],
    'password': config['HV_PASS']
}

阅读全文

问题：python如何连接hive数据仓库？

解决：使用pyhive

方法：

1、安装三个python包，网上有的说要安装sasl，但我没安装成功，然后发现不安装也可以

pip install thrift==0.20.0 thrift-sasl==0.4.3 pyhive==0.7.0

阅读全文

问题：使用pyhive连接hive数据库时报错

解决：可能因为hive未启动

方法：

1、启动hdfs、yarn

2、启动hiveserver2

3、确保连接写的成功

conn = hive.Connection(
    host=qy_host,
    port=10000,
    auth=“CUSTOM”,
    database=‘default’,
    username=qy_user,
    password=qy_pw)
hive_cur = hive_conn.cursor()

阅读全文

问题：可能因为models使用了synonym对所有字段进行了重命名，导致的问题

解决：使用session.flush()替代db.refresh(db_obj)

方法：

async def add(self, db: AsyncSession, obj_in: dict) -> ModelType:
    db_obj = self.model(**obj_in)
    db.add(db_obj)
    db.commit()
    # db.refresh(db_obj)
    db.flush()
    return db_obj

阅读全文