QueryContexts
QueryContext. O QueryContext contém as principais estruturas usadas para montar consultas no banco de dados ClickHouse, bem como a configuração usada para processar o resultado em um QueryResult ou outra estrutura de dados de resposta. Isso inclui a própria consulta, parâmetros, configurações, formatos de leitura e outras propriedades.
Um QueryContext pode ser obtido usando o método create_query_context do cliente. Esse método aceita os mesmos parâmetros que o método principal de consulta. Esse contexto de consulta pode então ser passado aos métodos query, query_df ou query_np como o argumento nomeado context, em vez de alguns ou de todos os outros argumentos desses métodos. Observe que argumentos adicionais especificados na chamada do método substituirão quaisquer propriedades do QueryContext.
O caso de uso mais claro para um QueryContext é enviar a mesma consulta com valores diferentes para os parâmetros de associação. Todos os valores dos parâmetros podem ser atualizados chamando o método QueryContext.set_parameters com um dicionário, ou qualquer valor individual pode ser atualizado chamando QueryContext.set_parameter com o par key, value desejado.
QueryContexts não são thread-safe, mas é possível obter uma cópia em um ambiente multithread chamando o método QueryContext.updated_copy.
Consultas em streaming
query_column_block_stream— Retorna os dados da consulta em blocos, como uma sequência de colunas, usando objetos nativos do Pythonquery_row_block_stream— Retorna os dados da consulta como um bloco de linhas, usando objetos nativos do Pythonquery_rows_stream— Retorna os dados da consulta como uma sequência de linhas, usando objetos nativos do Pythonquery_np_stream— Retorna cada bloco de dados da consulta do ClickHouse como um array NumPyquery_df_stream— Retorna cada bloco de dados da consulta do ClickHouse como um DataFrame do Pandasquery_arrow_stream— Retorna os dados da consulta como objetosRecordBatchdo PyArrowquery_df_arrow_stream— Retorna cada lote do Arrow como um DataFrame do Pandas ou do Polars, selecionado pordataframe_library
StreamContext que deve ser aberto com uma instrução with. Os métodos de streaming do cliente async usam await e são abertos com async with.
Blocos de dados
query como um stream de blocos recebidos do servidor ClickHouse. Esses blocos são transmitidos de e para o ClickHouse no formato personalizado “Native”. Um “bloco” é simplesmente uma sequência de colunas de dados binários, em que cada coluna contém o mesmo número de valores do tipo de dados especificado. (Como banco de dados colunar, o ClickHouse armazena esses dados de forma semelhante.) O tamanho de um bloco retornado por uma consulta é determinado por duas configurações do usuário que podem ser definidas em vários níveis (perfil de usuário, usuário, sessão ou consulta). São elas:
- max_block_size — Tamanho máximo do bloco em linhas.
- preferred_block_size_bytes — Tamanho preferencial do bloco em bytes.
preferred_block_size_bytes, nenhum bloco terá mais de max_block_size linhas. O tamanho real pode ser menor e não deve ser considerado estável.
Ao usar um dos métodos query_*_stream do Client, os resultados são retornados bloco a bloco. O ClickHouse Connect carrega apenas um bloco por vez. Isso permite processar grandes volumes de dados sem precisar carregar um conjunto de resultados grande inteiro na memória. Observe que a aplicação deve estar preparada para processar qualquer número de blocos, e o tamanho exato de cada bloco não pode ser controlado.
Buffer de dados HTTP para processamento lento
http_buffer_size se a aplicação tiver memória suficiente para armazenar em buffer mais dados de resposta. O padrão é 10 MiB. Os bytes de resposta em lz4 e zstd permanecem comprimidos nesse buffer, o que aumenta sua capacidade efetiva.
StreamContexts
query_*_stream (como query_row_block_stream) retorna um objeto StreamContext do ClickHouse, que combina um contexto e um gerador do Python. Este é o uso básico:
StreamContext sem uma instrução with resultará em erro. Usar um contexto do Python garante que o stream (neste caso, uma resposta HTTP em streaming) seja fechado corretamente, mesmo que nem todos os dados sejam consumidos e/ou uma exceção seja gerada durante o processamento. Além disso, StreamContexts só podem ser usados uma vez para consumir o stream. Tentar usar um StreamContext depois que ele tiver sido encerrado resultará em StreamClosedError.
Se a conexão falhar enquanto um resultado estiver sendo lido, um StreamFailureError será gerado em vez de retornar silenciosamente um resultado truncado. Sua mensagem segue a configuração show_clickhouse_errors do cliente.
Você pode usar a propriedade source do StreamContext para acessar o objeto de resultado pai, que inclui nomes de colunas e tipos. Para a maioria dos streams, este é um QueryResult; os métodos query_np_stream e query_df_stream expõem um NumpyResult.
Tipos de streaming
query_column_block_stream retorna o bloco como uma sequência de dados de coluna armazenados como tipos de dados nativos do Python. Usando as consultas taxi_trips acima, os dados retornados serão uma lista em que cada elemento é outra lista (ou tupla) contendo todos os dados da coluna correspondente. Assim, block[0] seria uma tupla contendo apenas strings. Formatos orientados a colunas são mais usados para executar operações de agregação sobre todos os valores de uma coluna, como somar o total das tarifas.
O método query_row_block_stream retorna o bloco como uma sequência de linhas, como em um banco de dados relacional tradicional. Para viagens de táxi, os dados retornados serão uma lista em que cada elemento é outra lista representando uma linha de dados. Assim, block[0] conteria todos os campos da primeira viagem de táxi em ordem, block[1] conteria uma linha com todos os campos da segunda viagem de táxi, e assim por diante. Resultados orientados a linhas normalmente são usados para exibição ou para processos de transformação.
O método query_rows_stream avança automaticamente para o próximo bloco e produz uma linha por vez. Ele é a contraparte linha a linha de query_row_block_stream.
O método query_np_stream retorna cada bloco como um array NumPy. Quando todas as colunas do resultado compartilham o mesmo dtype do NumPy, o array é bidimensional, com shape (linhas, colunas). Resultados mistos são retornados como um array estruturado unidimensional ou usam o dtype object.
O método query_df_stream retorna cada bloco do ClickHouse como um DataFrame bidimensional do Pandas. Aqui está um exemplo que mostra que o objeto StreamContext pode ser usado como contexto de forma diferida (mas apenas uma vez).
query_df_arrow_stream converte batches do Arrow em DataFrames do Pandas ou do Polars. Selecione a biblioteca com dataframe_library, cujo valor padrão é "pandas".
Por fim, query_arrow_stream encapsula uma resposta ArrowStream do ClickHouse em um StreamContext. Cada iteração retorna um RecordBatch do PyArrow.
Exemplos de streaming
Fazer streaming de linhas
Fazer streaming de blocos de linhas
Fazer streaming de DataFrames do Pandas
Streaming de lotes de Arrow
Linhas do streaming assíncrono
Consultas com NumPy, Pandas e Arrow
Consultas com NumPy
query_np retorna os resultados da consulta como um array do NumPy em vez de um QueryResult do ClickHouse Connect.
Consultas com Pandas
query_df retorna os resultados da consulta como um DataFrame do Pandas, em vez de um QueryResult do ClickHouse Connect.
Consultas com PyArrow
query_arrow retorna uma tabela PyArrow usando diretamente o formato de saída Arrow do ClickHouse. Ele aceita query, parameters, settings, external_data e transport_settings. A opção use_strings controla se as colunas String do ClickHouse são emitidas como strings do Arrow ou valores binários.
DataFrames com Arrow como backend
query_df_arrow e query_df_arrow_stream. Esses métodos evitam a conversão por meio de objetos de linha do Python e reutilizam buffers Arrow quando a biblioteca de destino permite:
query_df_arrow: Executa a consulta usando o formato de saídaArrowdo ClickHouse e retorna um DataFrame.dataframe_library="pandas"retorna um DataFrame do Pandas 2.0 ou posterior usandopd.ArrowDtype.dataframe_library="polars"retorna um DataFrame do Polars criado por meio depl.from_arrow.
query_df_arrow_stream: Transmite lotes Arrow como DataFrames do Pandas ou do Polars.
Consulta para DataFrame com Arrow como backend
Observações e ressalvas
- O ClickHouse controla o esquema do Arrow. Tipos sem uma representação direta em Arrow podem ser retornados usando um tipo físico compatível, incluindo campos binários. Inspecione
table.schemaou os dtypes do DataFrame antes de aplicar conversões específicas da aplicação. - Resultados do Pandas com Arrow como backend exigem o Pandas 2.0 ou posterior.
use_stringscontrola se colunasStringdo ClickHouse usam campos de string do Arrow ou campos binários quando o servidor oferece suporte aoutput_format_arrow_string_as_string.tz_mode="schema"ainda não é compatível com métodos de consulta baseados em Arrow. Eles emitem um aviso e preservam os metadados de fuso horário fornecidos pela resposta do Arrow.
Formatos de leitura
query, query_np e query_df. Eles não se aplicam aos métodos raw nem aos métodos Arrow, porque esses métodos usam diretamente um formato de saída do servidor. Por exemplo, definir o formato de leitura de UUID como "string" retorna strings UUID em vez de objetos uuid.UUID.
O argumento “tipo de dado” de qualquer função de formatação pode incluir curingas. O formato é uma única string em letras minúsculas. Wrappers de contêiner, como Array, Nullable e LowCardinality, preservam o formato selecionado para seu tipo de elemento.
Os formatos de leitura podem ser definidos em vários níveis:
- Globalmente, usando os métodos definidos no pacote
clickhouse_connect.datatypes.format. Isso controlará o formato do tipo de dado configurado para todas as consultas.
- Para toda a consulta, usando o argumento de dicionário opcional
query_formats. Nesse caso, qualquer coluna (ou subcoluna) dos tipos de dados especificados usará o formato configurado.
- Para uma coluna de resultado específica, use o dicionário opcional
column_formats. Cada chave é o nome de uma coluna retornada. Seu valor é uma string de formato ou um mapeamento aninhado de nomes de tipos do ClickHouse para formatos, o que é útil para Tuples, Maps e outros tipos de contêiner.
Opções de formatos de leitura (tipos Python)
Dados externos
clickhouse_connect.driver.external.ExternalData por meio do parâmetro external_data.
Este exemplo faz uma junção entre um arquivo CSV externo e uma tabela
directors armazenada no servidor:
ExternalData inicial usando o método add_file, que aceita os mesmos parâmetros do construtor. Em HTTP, todos os dados externos são transmitidos como parte de um upload de arquivo multi-part/form-data.
O backend chDB não oferece suporte a dados externos.
Fusos horários
DateTime e DateTime64 do ClickHouse são transmitidos como valores numéricos baseados em epoch. O ClickHouse Connect os converte em objetos datetime do Python usando metadados de coluna, substituições de consulta e a política de fuso horário do cliente.
O cliente tem duas opções independentes de fuso horário:
tz_sourceseleciona o fuso horário de fallback para colunas sem metadados explícitos de fuso horário:"auto"é o padrão. Usa o fuso horário do servidor quando o cliente consegue resolvê-lo com segurança em transições de horário de verão; caso contrário, usa o fuso horário local."server"sempre usa o fuso horário do servidor."local"sempre usa o fuso horário do processo local.
tz_modecontrola o tratamento de fuso horário:"naive_utc"é o padrão. Resultados em UTC e equivalentes a UTC são retornados como objetosdatetimesem fuso horário, para compatibilidade retroativa."aware"preserva otzinfode UTC e retorna valores UTC com fuso horário."schema"retorna valores com fuso horário somente quando o tipo da coluna declara um fuso horário, e valores sem fuso horário para colunasDateTime/DateTime64sem fuso horário.
"naive_utc" e "aware", o fuso horário ativo é selecionado nesta ordem:
- Uma substituição
column_tzspor coluna. - Metadados de fuso horário no tipo de coluna do ClickHouse.
- A substituição
query_tzpara toda a consulta. - Informações de fuso horário retornadas com a resposta HTTP.
- O fallback selecionado por
tz_source.
tz_mode="schema" ignora os fusos horários da consulta e de fallback, mas uma substituição column_tzs explícita ainda tem precedência.
zoneinfo da biblioteca padrão. Instalações no Windows recebem tzdata automaticamente. Em imagens Linux mínimas sem um banco de dados de fusos horários da IANA, instale clickhouse-connect[tzdata].
Os resultados do Pandas preservam a resolução natural de cada tipo do ClickHouse, como datetime64[s] para DateTime e datetime64[ms] para DateTime64(3). Os métodos de DataFrame com Arrow como backend query_df_arrow e query_df_arrow_stream ainda não implementam tz_mode="schema" e emitirão um aviso quando isso for solicitado. query_arrow e query_arrow_stream retornam os metadados de fuso horário da resposta Arrow inalterados.