> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-trino-dialect.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > Conecta fácilmente tus fuentes de datos externas a ClickHouse Cloud. # Integración con ClickHouse Cloud export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; };

## Introducción

[ClickPipes](/es/integrations/clickpipes/home) es una plataforma de integración gestionada que hace que la ingestión de datos desde una amplia variedad de fuentes sea tan sencilla como hacer clic en unos pocos botones. Diseñada para las cargas de trabajo más exigentes, la arquitectura robusta y escalable de ClickPipes garantiza un rendimiento y una fiabilidad constantes. ClickPipes puede utilizarse para necesidades de streaming a largo plazo o para una carga puntual de datos. ClickPipes puede implementarse y gestionarse manualmente mediante la UI de ClickPipes, así como de forma programática mediante [OpenAPI](/es/integrations/clickpipes/programmatic-access/openapi) y [Terraform](/es/integrations/clickpipes/programmatic-access/terraform). stack de ClickPipes

## Fuentes de datos compatibles

| Nombre | Tipo | Estado | Descripción | | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------- | -------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | |

[Apache Kafka](/es/integrations/clickpipes/kafka/index) | Streaming | Estable | Configure ClickPipes y comience a ingestar datos en streaming desde Apache Kafka en ClickHouse Cloud. | |

Azure Event Hubs | Streaming | Estable | Configure ClickPipes y comience a ingestar datos en streaming desde Azure Event Hubs hacia ClickHouse Cloud. Consulte las [FAQ de Azure Event Hubs](/es/integrations/clickpipes/kafka/faq#azure-eventhubs) para obtener orientación. | |

[Amazon Kinesis](/es/integrations/clickpipes/kinesis/overview) | Streaming | Estable | Configure ClickPipes y comience a ingestar datos en streaming desde Amazon Kinesis hacia ClickHouse Cloud. | |

[GCP Pub/Sub](/es/integrations/clickpipes/pubsub/overview) | Streaming | Vista previa privada | Configure ClickPipes y comience a ingestar datos en streaming desde Google Cloud Pub/Sub hacia ClickHouse Cloud. | |

[Amazon S3](/es/integrations/clickpipes/object-storage/amazon-s3/overview) | Almacenamiento de objetos | Estable | Configure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos. | |

[Google Cloud Storage](/es/integrations/clickpipes/object-storage/google-cloud-storage/overview) | Almacenamiento de objetos | Estable | Configure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos. | |

[Azure Blob Storage](/es/integrations/clickpipes/object-storage/azure-blob-storage/overview) | Almacenamiento de objetos | Estable | Configure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos. | |

[MongoDB](/es/integrations/clickpipes/mongodb/index) | DBMS | Vista previa privada | Configure ClickPipes y comience a ingestar datos de MongoDB en ClickHouse Cloud. | Se irán añadiendo más conectores a ClickPipes. Puede obtener más información [poniéndose en contacto con nosotros](https://clickhouse.com/company/contact?loc=clickpipes).

## Autenticación de base de datos con AWS IAM

ClickPipes admite la autenticación de base de datos con AWS IAM para Amazon RDS y Aurora. La configuración varía según el motor de base de datos y el servicio de AWS, así que elige la guía de configuración de origen que corresponda a tu base de datos: | Motor de base de datos | Servicio de AWS | Guía de configuración | | ---------------------- | --------------- | ------------------------------------------------------------------------------------------------------------- | | PostgreSQL | Amazon RDS | [RDS para PostgreSQL](/es/integrations/clickpipes/postgres/source/rds#iam-authentication) | | PostgreSQL | Amazon Aurora | [Aurora PostgreSQL-Compatible Edition](/es/integrations/clickpipes/postgres/source/aurora#iam-authentication) | | MySQL | Amazon RDS | [RDS para MySQL](/es/integrations/clickpipes/mysql/source/rds#iam-authentication) | | MySQL | Amazon Aurora | [Aurora MySQL-Compatible Edition](/es/integrations/clickpipes/mysql/source/aurora#iam-authentication) | | MariaDB | Amazon RDS | [RDS para MariaDB](/es/integrations/clickpipes/mysql/source/rds-maria#iam-authentication) |

## Lista de IP estáticas

La lista de direcciones IP NAT estáticas de ClickPipes se ha trasladado a la [documentación de redes de ClickPipes](/es/integrations/clickpipes/networking/static-ips).

## Ajustar los ajustes de ClickHouse

ClickHouse Cloud proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Sin embargo, si necesita ajustar algunos ajustes de ClickHouse para las tablas de destino de ClickPipes, un rol dedicado para ClickPipes es la solución más flexible. Pasos: 1. cree un rol personalizado `CREATE ROLE my_clickpipes_role SETTINGS ...`. Consulte la sintaxis de [CREATE ROLE](/es/reference/statements/create/role) para obtener más información. 2. añada el rol personalizado al usuario de ClickPipes en el paso `Details and Settings` durante la creación de ClickPipes. Asignar un rol personalizado

## Ajustar la configuración avanzada de ClickPipes

ClickPipes proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más preciso, puede modificar la siguiente configuración:

### ClickPipes de almacenamiento de objetos

| Configuración | Valor predeterminado | Descripción | | ------------------------------------ | -------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | `Max insert bytes` | 10 GB | Número de bytes que se procesan en un único lote de inserción. | | `Max file count` | 100 | Número máximo de archivos que se procesan en un único lote de inserción. | | `Max threads` | auto(3) | [Número máximo de hilos concurrentes](/es/reference/settings/session-settings/max-threads#max_threads) para el procesamiento de archivos. | | `Max insert threads` | 1 | [Número máximo de hilos de inserción concurrentes](/es/reference/settings/session-settings/max-insert#max_insert_threads) para el procesamiento de archivos. | | `Min insert block size bytes` | 1 GB | [Tamaño mínimo en bytes del bloque](/es/reference/settings/session-settings/min-insert#min_insert_block_size_bytes) que puede insertarse en una tabla. | | `Max download threads` | 4 | [Número máximo de hilos de descarga concurrentes](/es/reference/settings/session-settings/max-download#max_download_threads). | | `Object storage polling interval` | 30 s | Configura el período máximo de espera antes de insertar datos en el clúster de ClickHouse. | | `Parallel distributed insert select` | 2 | [Configuración de inserción distribuida paralela para SELECT](/es/reference/settings/session-settings/parallel#parallel_distributed_insert_select). | | `Parallel view processing` | false | Si se habilita el envío a vistas adjuntas [de forma concurrente en lugar de secuencial](/es/reference/settings/session-settings/parallel#parallel_view_processing). | | `Use cluster function` | true | Si los archivos se procesan en paralelo en varios nodos. | Configuración avanzada de ClickPipes

### ClickPipes de streaming

| Configuración | Valor predeterminado | Descripción | | -------------------------------- | -------------------- | ----------------------------------------------------------------------------------------- | | `Streaming max insert wait time` | 5 s | Configura el tiempo máximo de espera antes de insertar datos en el clúster de ClickHouse. |

## Registro de errores

ClickPipes almacenará los errores en dos tablas distintas, según el tipo de error que se produzca durante el proceso de ingestión. Esto no se aplica actualmente a las pipes de CDC (Postgres, MySQL y MongoDB), para las cuales los registros operativos y de errores están disponibles directamente en la consola de ClickHouse Cloud.

### Registro de errores

ClickPipes creará una tabla junto a tu tabla de destino con el sufijo `_clickpipes_error`. Esta tabla contendrá cualquier error provocado por datos malformados o por un esquema incompatible, e incluirá el mensaje no válido completo. Esta tabla tiene un [TTL](/es/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) de 7 días.

### Errores del sistema

Los errores relacionados con el funcionamiento de ClickPipe se almacenarán en la tabla `system.clickpipes_log`. En ella se guardarán todos los demás errores relacionados con el funcionamiento de su ClickPipe (red, conectividad, etc.). Esta tabla tiene un [TTL](/es/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) de 7 días. Si ClickPipes no puede conectarse a una fuente de datos después de 15 min o a un destino después de 1 h, la instancia de ClickPipes se detendrá y almacenará un mensaje correspondiente en la tabla de errores del sistema (siempre que la instancia de ClickHouse esté disponible).

## Monitoreo

Además del monitoreo en la consola, ClickPipes expone métricas en un [endpoint compatible con Prometheus](/es/products/cloud/features/monitoring/prometheus) para su scraping. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y le permiten integrar el monitoreo de ClickPipes con su stack de observabilidad actual (por ejemplo, [Grafana](/es/products/cloud/features/monitoring/prometheus#integrating-with-grafana), [Datadog](/es/products/cloud/features/monitoring/prometheus#integrating-with-datadog)). Consulte [Monitoreo de ClickPipes](/es/integrations/clickpipes/monitoring) para ver la lista completa de métricas disponibles.

## Preguntas frecuentes

* **¿Qué es ClickPipes?** ClickPipes es una funcionalidad de ClickHouse Cloud que facilita la conexión de sus servicios de ClickHouse con fuentes de datos externas, en concreto Kafka. Con ClickPipes for Kafka, puede cargar datos de forma continua en ClickHouse y ponerlos a disposición para análisis en tiempo real. * **¿ClickPipes admite la transformación de datos?** Sí, ClickPipes admite transformaciones básicas de datos al exponer la creación del DDL. Después, puede aplicar transformaciones más avanzadas a los datos a medida que se cargan en su tabla de destino en un servicio de ClickHouse Cloud, aprovechando la [funcionalidad de vistas materializadas](/es/concepts/features/materialized-views/cascading-materialized-views) de ClickHouse. * **¿Usar ClickPipes implica un costo adicional?** ClickPipes se factura en dos dimensiones: Ingested Data y Compute. Los detalles completos de los precios están disponibles en [esta página](/es/products/cloud/reference/billing/clickpipes/index). Ejecutar ClickPipes también puede generar un costo indirecto de cómputo y almacenamiento en el servicio de ClickHouse Cloud de destino, como ocurre con cualquier carga de trabajo de ingesta. * **¿Hay alguna forma de gestionar errores o fallos al usar ClickPipes for Kafka?** Sí, ClickPipes for Kafka realizará reintentos automáticos en caso de fallos al consumir datos de Kafka debidos a cualquier problema operativo, incluidos problemas de red, de conectividad, etc. En caso de datos malformados o de un esquema no válido, ClickPipes almacenará el registro en la tabla record\_error y continuará procesándolo.