> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-trino-dialect.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > Conecte suas fontes de dados externas ao ClickHouse Cloud sem esforço. # Integração com o ClickHouse Cloud export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; };

## Introdução

[ClickPipes](/pt-BR/integrations/clickpipes/home) é uma plataforma de integração gerenciada que torna a ingestão de dados de um conjunto diverso de fontes tão simples quanto clicar em alguns botões. Projetada para as workloads mais exigentes, a arquitetura robusta e escalável do ClickPipes garante desempenho e confiabilidade consistentes. O ClickPipes pode ser usado para necessidades contínuas de streaming de longo prazo ou para uma carga de dados pontual. O ClickPipes pode ser implantado e gerenciado manualmente usando a UI do ClickPipes, bem como de forma programática com [OpenAPI](/pt-BR/integrations/clickpipes/programmatic-access/openapi) e [Terraform](/pt-BR/integrations/clickpipes/programmatic-access/terraform). Stack do ClickPipes

## Fontes de dados compatíveis

| Nome | Tipo | Status | Descrição | | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------ | -------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |

[Apache Kafka](/pt-BR/integrations/clickpipes/kafka/index) | Streaming | Estável | Configure o ClickPipes e inicie a ingestão de dados em streaming do Apache Kafka para o ClickHouse Cloud. | |

Azure Event Hubs | Streaming | Estável | Configure o ClickPipes e comece a ingerir dados em streaming do Azure Event Hubs no ClickHouse Cloud. Consulte o [FAQ do Azure Event Hubs](/pt-BR/integrations/clickpipes/kafka/faq#azure-eventhubs) para mais orientações. | |

[Amazon Kinesis](/pt-BR/integrations/clickpipes/kinesis/overview) | Streaming | Estável | Configure o ClickPipes e comece a ingerir dados em streaming do Amazon Kinesis no ClickHouse Cloud. | |

[GCP Pub/Sub](/pt-BR/integrations/clickpipes/pubsub/overview) | Streaming | Prévia privada | Configure o ClickPipes e comece a ingerir dados em streaming do Google Cloud Pub/Sub no ClickHouse Cloud. | |

[Amazon S3](/pt-BR/integrations/clickpipes/object-storage/amazon-s3/overview) | Armazenamento de objetos | Estável | Configure o ClickPipes para ingerir grandes volumes de dados do armazenamento de objetos. | |

[Google Cloud Storage](/pt-BR/integrations/clickpipes/object-storage/google-cloud-storage/overview) | Armazenamento de objetos | Estável | Configure o ClickPipes para ingerir grandes volumes de dados do armazenamento de objetos. | |

[Azure Blob Storage](/pt-BR/integrations/clickpipes/object-storage/azure-blob-storage/overview) | Armazenamento de objetos | Estável | Configure o ClickPipes para ingestão de grandes volumes de dados a partir do armazenamento de objetos. | |

[MongoDB](/pt-BR/integrations/clickpipes/mongodb/index) | DBMS | Prévia privada | Configure o ClickPipes e comece a ingerir dados do MongoDB no ClickHouse Cloud. | Mais conectores serão adicionados ao ClickPipes. Para saber mais, [entre em contato conosco](https://clickhouse.com/company/contact?loc=clickpipes).

## Autenticação de banco de dados com AWS IAM

O ClickPipes oferece suporte à autenticação de banco de dados com AWS IAM para Amazon RDS e Aurora. A configuração varia de acordo com o mecanismo de banco de dados e o serviço da AWS, portanto escolha o guia de configuração da origem correspondente ao seu banco de dados: | Mecanismo de banco de dados | Serviço da AWS | Guia de configuração | | --------------------------- | -------------- | ---------------------------------------------------------------------------------------------------------------- | | PostgreSQL | Amazon RDS | [RDS para PostgreSQL](/pt-BR/integrations/clickpipes/postgres/source/rds#iam-authentication) | | PostgreSQL | Amazon Aurora | [Aurora PostgreSQL-Compatible Edition](/pt-BR/integrations/clickpipes/postgres/source/aurora#iam-authentication) | | MySQL | Amazon RDS | [RDS para MySQL](/pt-BR/integrations/clickpipes/mysql/source/rds#iam-authentication) | | MySQL | Amazon Aurora | [Aurora MySQL-Compatible Edition](/pt-BR/integrations/clickpipes/mysql/source/aurora#iam-authentication) | | MariaDB | Amazon RDS | [RDS para MariaDB](/pt-BR/integrations/clickpipes/mysql/source/rds-maria#iam-authentication) |

## Lista de IPs estáticos

A lista de IPs estáticos de NAT do ClickPipes foi movida para a [documentação de rede do ClickPipes](/pt-BR/integrations/clickpipes/networking/static-ips).

## Ajustando as configurações do ClickHouse

O ClickHouse Cloud fornece padrões adequados para a maioria dos casos de uso. No entanto, se você precisar ajustar algumas configurações do ClickHouse para as tabelas de destino do ClickPipes, uma função dedicada para o ClickPipes é a solução mais flexível. Etapas: 1. crie uma função personalizada `CREATE ROLE my_clickpipes_role SETTINGS ...`. Consulte a sintaxe de [CREATE ROLE](/pt-BR/reference/statements/create/role) para mais detalhes. 2. adicione a função personalizada ao usuário do ClickPipes na etapa `Details and Settings`, durante a criação do ClickPipes. Atribuir uma função personalizada

## Ajustando as configurações avançadas do ClickPipes

O ClickPipes oferece padrões sensatos que atendem aos requisitos da maioria dos casos de uso. Se o seu caso de uso exigir ajustes mais finos, você pode ajustar as seguintes configurações:

### ClickPipes de armazenamento de objetos

| Configuração | Valor padrão | Descrição | | ------------------------------------ | ------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | `Max insert bytes` | 10 GB | Número de bytes a serem processados em um único lote de inserção. | | `Max file count` | 100 | Número máximo de arquivos a serem processados em um único lote de inserção. | | `Max threads` | auto(3) | [Número máximo de threads simultâneas](/pt-BR/reference/settings/session-settings/max-threads#max_threads) para processamento de arquivos. | | `Max insert threads` | 1 | [Número máximo de threads de inserção simultâneas](/pt-BR/reference/settings/session-settings/max-insert#max_insert_threads) para processamento de arquivos. | | `Min insert block size bytes` | 1 GB | [Tamanho mínimo, em bytes, do bloco](/pt-BR/reference/settings/session-settings/min-insert#min_insert_block_size_bytes) que pode ser inserido em uma tabela. | | `Max download threads` | 4 | [Número máximo de threads de download simultâneas](/pt-BR/reference/settings/session-settings/max-download#max_download_threads). | | `Object storage polling interval` | 30 s | Configura o período máximo de espera antes de inserir os dados no cluster do ClickHouse. | | `Parallel distributed insert select` | 2 | [Configuração de insert select distribuído em paralelo](/pt-BR/reference/settings/session-settings/parallel#parallel_distributed_insert_select). | | `Parallel view processing` | false | Define se o envio para views anexadas deve ser habilitado [de forma simultânea em vez de sequencial](/pt-BR/reference/settings/session-settings/parallel#parallel_view_processing). | | `Use cluster function` | true | Define se os arquivos devem ser processados em paralelo em vários nós. | Configurações avançadas do ClickPipes

### ClickPipes de streaming

| Configuração | Valor padrão | Descrição | | -------------------------------- | ------------ | ------------------------------------------------------------------------------------ | | `Streaming max insert wait time` | 5 s | Define o tempo máximo de espera antes da inserção de dados no cluster do ClickHouse. |

## Relatório de erros

O ClickPipes armazenará os erros em duas tabelas separadas, dependendo do tipo de erro encontrado durante o processo de ingestão. Atualmente, isso não se aplica aos pipes de CDC (Postgres, MySQL e MongoDB), para os quais os logs operacionais e de erros estão disponíveis diretamente no console do ClickHouse Cloud.

### Registrar erros

O ClickPipes criará uma tabela ao lado da sua tabela de destino com o sufixo `_clickpipes_error`. Essa tabela conterá todos os erros causados por dados malformados ou incompatibilidade de esquema e incluirá a mensagem inválida completa. Essa tabela tem um [TTL](/pt-BR/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) de 7 dias.

### Erros do sistema

Os erros relacionados à operação do ClickPipe serão armazenados na tabela `system.clickpipes_log`. Nela também serão armazenados todos os outros erros relacionados à operação do seu ClickPipe (rede, conectividade etc.). Essa tabela tem um [TTL](/pt-BR/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) de 7 dias. Se o ClickPipes não conseguir se conectar a uma fonte de dados após 15 min ou a um destino após 1 h, a instância do ClickPipes será interrompida, e uma mensagem apropriada será armazenada na tabela de erro do sistema (desde que a instância do ClickHouse esteja disponível).

## Monitoramento

Além do monitoramento no Console, ClickPipes expõe métricas em um [endpoint compatível com Prometheus](/pt-BR/products/cloud/features/monitoring/prometheus) para coleta. Essas métricas são publicadas junto com outras métricas do serviço ClickHouse Cloud e permitem integrar o monitoramento do ClickPipes à sua stack de observabilidade existente (por exemplo, [Grafana](/pt-BR/products/cloud/features/monitoring/prometheus#integrating-with-grafana), [Datadog](/pt-BR/products/cloud/features/monitoring/prometheus#integrating-with-datadog)). Consulte [Monitoramento do ClickPipes](/pt-BR/integrations/clickpipes/monitoring) para ver a lista completa de métricas disponíveis.

## FAQ

* **O que é ClickPipes?** ClickPipes é um recurso do ClickHouse Cloud que facilita a conexão dos seus serviços do ClickHouse a fontes de dados externas, especificamente o Kafka. Com o ClickPipes for Kafka, você pode carregar dados continuamente no ClickHouse com facilidade, tornando-os disponíveis para analytics em tempo real. * **O ClickPipes oferece suporte à transformação de dados?** Sim, o ClickPipes oferece suporte à transformação básica de dados ao expor o DDL de criação. Depois, você pode aplicar transformações mais avançadas aos dados à medida que eles são carregados na tabela de destino em um serviço ClickHouse Cloud, aproveitando o [recurso de visões materializadas](/pt-BR/concepts/features/materialized-views/cascading-materialized-views) do ClickHouse. * **O uso do ClickPipes gera um custo adicional?** O ClickPipes é cobrado com base em duas dimensões: Ingested Data e Compute. Todos os detalhes de preços estão disponíveis [nesta página](/pt-BR/products/cloud/reference/billing/clickpipes/index). Executar o ClickPipes também pode gerar um custo indireto de computação e armazenamento no serviço ClickHouse Cloud de destino, como acontece com qualquer carga de ingestão. * **Existe uma maneira de lidar com erros ou falhas ao usar o ClickPipes for Kafka?** Sim, o ClickPipes for Kafka fará novas tentativas automaticamente em caso de falhas ao consumir dados do Kafka por qualquer problema operacional, incluindo problemas de rede, de conectividade etc. Em caso de dados malformados ou esquema inválido, o ClickPipes armazenará o registro na tabela record\_error e continuará o processamento.