Skip to main content

​
Introducción

ClickPipes es una plataforma de integración gestionada que hace que la ingestión de datos desde una amplia variedad de fuentes sea tan sencilla como hacer clic en unos pocos botones. Diseñada para las cargas de trabajo más exigentes, la arquitectura robusta y escalable de ClickPipes garantiza un rendimiento y una fiabilidad constantes. ClickPipes puede utilizarse para necesidades de streaming a largo plazo o para una carga puntual de datos. ClickPipes puede implementarse y gestionarse manualmente mediante la UI de ClickPipes, así como de forma programática mediante OpenAPI y Terraform.

​
Fuentes de datos compatibles

Se irán añadiendo más conectores a ClickPipes. Puede obtener más información poniéndose en contacto con nosotros.

​
Autenticación de base de datos con AWS IAM

ClickPipes admite la autenticación de base de datos con AWS IAM para Amazon RDS y Aurora. La configuración varía según el motor de base de datos y el servicio de AWS, así que elige la guía de configuración de origen que corresponda a tu base de datos:

​
Lista de IP estáticas

La lista de direcciones IP NAT estáticas de ClickPipes se ha trasladado a la documentación de redes de ClickPipes.

​
Ajustar los ajustes de ClickHouse

ClickHouse Cloud proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Sin embargo, si necesita ajustar algunos ajustes de ClickHouse para las tablas de destino de ClickPipes, un rol dedicado para ClickPipes es la solución más flexible. Pasos:
  1. cree un rol personalizado CREATE ROLE my_clickpipes_role SETTINGS .... Consulte la sintaxis de CREATE ROLE para obtener más información.
  2. añada el rol personalizado al usuario de ClickPipes en el paso Details and Settings durante la creación de ClickPipes.

​
Ajustar la configuración avanzada de ClickPipes

ClickPipes proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más preciso, puede modificar la siguiente configuración:

​
ClickPipes de almacenamiento de objetos

​
ClickPipes de streaming

​
Registro de errores

ClickPipes almacenará los errores en dos tablas distintas, según el tipo de error que se produzca durante el proceso de ingestión.
Esto no se aplica actualmente a las pipes de CDC (Postgres, MySQL y MongoDB), para las cuales los registros operativos y de errores están disponibles directamente en la consola de ClickHouse Cloud.

​
Registro de errores

ClickPipes creará una tabla junto a tu tabla de destino con el sufijo <destination_table_name>_clickpipes_error. Esta tabla contendrá cualquier error provocado por datos malformados o por un esquema incompatible, e incluirá el mensaje no válido completo. Esta tabla tiene un TTL de 7 días.

​
Errores del sistema

Los errores relacionados con el funcionamiento de ClickPipe se almacenarán en la tabla system.clickpipes_log. En ella se guardarán todos los demás errores relacionados con el funcionamiento de su ClickPipe (red, conectividad, etc.). Esta tabla tiene un TTL de 7 días. Si ClickPipes no puede conectarse a una fuente de datos después de 15 min o a un destino después de 1 h, la instancia de ClickPipes se detendrá y almacenará un mensaje correspondiente en la tabla de errores del sistema (siempre que la instancia de ClickHouse esté disponible).

​
Monitoreo

Además del monitoreo en la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para su scraping. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y le permiten integrar el monitoreo de ClickPipes con su stack de observabilidad actual (por ejemplo, Grafana, Datadog). Consulte Monitoreo de ClickPipes para ver la lista completa de métricas disponibles.

​
Preguntas frecuentes

  • ¿Qué es ClickPipes? ClickPipes es una funcionalidad de ClickHouse Cloud que facilita la conexión de sus servicios de ClickHouse con fuentes de datos externas, en concreto Kafka. Con ClickPipes for Kafka, puede cargar datos de forma continua en ClickHouse y ponerlos a disposición para análisis en tiempo real.
  • ¿ClickPipes admite la transformación de datos? Sí, ClickPipes admite transformaciones básicas de datos al exponer la creación del DDL. Después, puede aplicar transformaciones más avanzadas a los datos a medida que se cargan en su tabla de destino en un servicio de ClickHouse Cloud, aprovechando la funcionalidad de vistas materializadas de ClickHouse.
  • ¿Usar ClickPipes implica un costo adicional? ClickPipes se factura en dos dimensiones: Ingested Data y Compute. Los detalles completos de los precios están disponibles en esta página. Ejecutar ClickPipes también puede generar un costo indirecto de cómputo y almacenamiento en el servicio de ClickHouse Cloud de destino, como ocurre con cualquier carga de trabajo de ingesta.
  • ¿Hay alguna forma de gestionar errores o fallos al usar ClickPipes for Kafka? Sí, ClickPipes for Kafka realizará reintentos automáticos en caso de fallos al consumir datos de Kafka debidos a cualquier problema operativo, incluidos problemas de red, de conectividad, etc. En caso de datos malformados o de un esquema no válido, ClickPipes almacenará el registro en la tabla record_error y continuará procesándolo.
Última modificación el 14 de agosto de 2026