Identificando consultas mais custosas pelo uso de memória no ClickHouse

Usando a tabela `system.query_log`

A consulta útil a seguir mostra quais das consultas executadas por você usaram mais memória. Alguns comentários sobre esta consulta:

os resultados são calculados com base no último dia (now() - toIntervalDay(1))), mas você pode modificar facilmente o intervalo de tempo
ela pressupõe que você tenha um cluster chamado default, que é o nome do seu cluster no ClickHouse Cloud. Altere default para o nome do seu cluster
se você não tiver um cluster, consulte a consulta listada no final deste artigo

SELECT
    count() as nb_query,
    user,
    query,
    sum(memory_usage) AS memory,
    normalized_query_hash
FROM
    clusterAllReplicas(default, system.query_log)
WHERE
    (event_time >= (now() - toIntervalDay(1)))
    AND is_initial_query = 1
    AND query_kind = 'Select'
    AND type = 'QueryFinish'
    and user != 'monitoring-internal'
GROUP BY
    normalized_query_hash,
    query,
    user
ORDER BY
    memory DESC;

A resposta será semelhante a:

┌─nb_query─┬─user────┬─query─────────────────────────────────────────────────────────┬───memory─┬─normalized_query_hash─┐
│       11 │ default │ select version()                                              │ 46178924 │   7202516440347714159 │
│        2 │ default │ SELECT * FROM "system"."table_functions" LIMIT 31 OFFSET 0    │  8391544 │  12830067173062987695 │
└──────────┴─────────┴───────────────────────────────────────────────────────────────┴──────────┴───────────────────────┘

Se você não tiver uma tabela system.query_log, provavelmente o logging de consultas não está habilitado. Consulte os detalhes da configuração query_log para saber como habilitá-lo.

query_log contém mais do que as consultas que você enviouUma única consulta enviada pode aparecer em várias linhas: a consulta inicial (is_initial_query = 1) mais etapas derivadas ou internas (is_initial_query = 0), como consultas secundárias para execução distribuída ou consultas internas usadas para avaliar views. Essas linhas internas têm seus próprios valores de query_id — atribuídos pelo ClickHouse e, às vezes, incluindo um rótulo como queryView... — portanto, não presuma que todo query_id corresponda ao que seu cliente informou. Para atribuir o uso à consulta exatamente como você a executou, filtre por is_initial_query = 1 ou faça a correspondência com query_id = initial_query_id. Consulte Como identificar as consultas custosas e a referência de query_log para mais detalhes.

Se você não tiver um cluster, poderá consultar diretamente a sua tabela system.query_log:

SELECT
    count() as nb_query,
    user,
    query,
    sum(memory_usage) AS memory,
    normalized_query_hash
FROM
    system.query_log
WHERE
    (event_time >= (now() - toIntervalDay(1)))
    AND is_initial_query = 1
    AND query_kind = 'Select'
    AND type = 'QueryFinish'
    and user != 'monitoring-internal'
GROUP BY
    normalized_query_hash,
    query,
    user
ORDER BY
    memory DESC;

​Usando a tabela system.query_log

Usando a tabela `system.query_log`