sqlalchemy运行太慢,如何进行debug

本文共有1353个字,关键词:

问题:数据量大,接口请求太慢,如何判断是哪个语句拖慢了时间?

解决:可以使用logger进行debug,输出每个语句的运行时间

方法:

将下面代码与你的create_engine放一起就可以了

from sqlalchemy import event
from sqlalchemy.engine import Engine
import time
import logging

logging.basicConfig()
logger = logging.getLogger("myapp.sqltime")
logger.setLevel(logging.DEBUG)
fh = logging.FileHandler("test_log.log", encoding="utf-8")
logger.addHandler(fh)

@event.listens_for(Engine, "before_cursor_execute")
def before_cursor_execute(conn, cursor, statement,
                        parameters, context, executemany):
    conn.info.setdefault('query_start_time', []).append(time.time())
    print("S---"*40)
    logger.debug("Start Query: %s", statement)

@event.listens_for(Engine, "after_cursor_execute")
def after_cursor_execute(conn, cursor, statement,
                        parameters, context, executemany):
    total = time.time() - conn.info['query_start_time'].pop(-1)
    print("E---"*40)
    logger.debug("Query {{%s}} Complete!", statement)
    logger.debug("Total Time: %f", total)

参考:

https://www.osgeo.cn/sqlalchemy/faq/performance.html   # sqlalchemy性能调化
https://zhuanlan.zhihu.com/p/477149444  # logger输出到文件,格式化logger输出
版权声明:本文为作者原创,如需转载须联系作者本人同意,未经作者本人同意不得擅自转载。
添加新评论
暂无评论