Configuración de AWS PrivateLink para exponer MSK a ClickPipes

Descripción general

Esta guía te ayudará a empezar a configurar MSK multi-VPC para usarlo con el endpoint privado inverso de ClickPipes. ClickPipes es propietaria de la VPC de cliente y crea la conexión de VPC administrada. Para establecer la conexión de red, habilita la conectividad privada multi-VPC en tu clúster de MSK y autoriza la cuenta de AWS de ClickPipes en la política del clúster.

Requisitos

La VPC de su clúster de MSK debe estar ubicada en una de nuestras regiones de ClickPipes. Consulte regiones de ClickPipes para ver la lista de regiones admitidas.

Habilitar la conectividad multi-VPC

Consola de AWS
Terraform

Vaya al clúster de MSK.
- Seleccione “Clusters” en el panel de navegación izquierdo de la consola de Amazon MSK.
- Seleccione el clúster de MSK específico que desea configurar para la conectividad multi-VPC.
Habilite la conectividad MSK multi-VPC
- En la pestaña Connectivity, busque la sección Multi-VPC connectivity.
- Haga clic en Edit.
- Habilite la opción Turn-on MSK multi-VPC connectivity.
- Siga las instrucciones.

Agregue el principal de la cuenta de ClickPipes a la política del clúster

Vaya a la pestaña Configuration.
Haga clic en Edit en la sección Cluster policy.

Incluya arn:aws:iam::072088201116:root en la IAM policy. Ejemplo:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws:iam::072088201116:root"
                ]
            },
            "Action": [
                "kafka:CreateVpcConnection",
                "kafka:GetBootstrapBrokers",
                "kafka:DescribeCluster",
                "kafka:DescribeClusterV2"
            ],
            "Resource": "<MSK_CLUSTER_ARN>"
        }
    ]
}

Habilite el método de autenticación de MSK tanto para el clúster como para la conectividad multi-VPC. El siguiente ejemplo usa SASL/IAM; en su lugar, establezca scram = true para usar SASL/SCRAM.

resource "aws_msk_cluster" "this" {
  # ... configuración existente ...

  client_authentication {
    sasl {
      iam = true
    }
  }

  broker_node_group_info {
    # ... configuración existente ...

    connectivity_info {
      vpc_connectivity {
        client_authentication {
          sasl {
            iam = true
          }
        }
      }
    }
  }
}

Autorice la cuenta de AWS de ClickPipes en la política del clúster de MSK:

resource "aws_msk_cluster_policy" "clickpipes" {
  cluster_arn = aws_msk_cluster.this.arn

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Sid       = "ClickPipesMultiVpc"
      Effect    = "Allow"
      Principal = { AWS = "arn:aws:iam::072088201116:root" }
      Action = [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
      ]
      Resource = aws_msk_cluster.this.arn
    }]
  })
}

Si el clúster ya tiene una política, conserve sus sentencias existentes al agregar los permisos de ClickPipes.

La política de IAM del clúster permite que ClickPipes inicie la conexión desde ClickPipes a su clúster de MSK. Si desea configurar la autenticación de IAM para su clúster de MSK, consulte la documentación sobre autenticación de IAM.

Creación de un endpoint privado inverso

ClickPipes UI
Terraform

Siga los pasos para crear el endpoint privado inverso en la documentación de ClickPipes.

Cree el endpoint privado inverso con el proveedor de Terraform de ClickHouse:

resource "clickhouse_clickpipes_reverse_private_endpoint" "msk" {
  service_id         = var.clickhouse_service_id
  description        = "MSK multi-VPC reverse private endpoint"
  type               = "MSK_MULTI_VPC"
  msk_cluster_arn    = aws_msk_cluster.this.arn
  msk_authentication = "SASL_IAM" # O "SASL_SCRAM"

  depends_on = [aws_msk_cluster_policy.clickpipes]
}

Los campos del recurso son inmutables. Al cambiar un campo, el endpoint privado inverso se destruye y se vuelve a crear.

​Descripción general

​Requisitos

​Habilitar la conectividad multi-VPC

​Creación de un endpoint privado inverso

Descripción general

Requisitos

Habilitar la conectividad multi-VPC

Creación de un endpoint privado inverso