> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-trino-dialect.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > 外部データソースを ClickHouse Cloud にシームレスに接続できます。 # ClickHouse Cloud とのインテグレーション export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; };

## はじめに

[ClickPipes](/ja/integrations/clickpipes/home) は、多様なデータソースからのデータ取り込みを、数回クリックするだけで簡単に行えるマネージドなインテグレーションプラットフォームです。最も要求の厳しいワークロード向けに設計された、堅牢かつスケーラブルな ClickPipes のアーキテクチャにより、一貫したパフォーマンスと信頼性を実現します。ClickPipes は、長期的なストリーミング用途にも、一回限りのデータロードジョブにも利用できます。 ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、[OpenAPI](/ja/integrations/clickpipes/programmatic-access/openapi) や [Terraform](/ja/integrations/clickpipes/programmatic-access/terraform) を使用してプログラムからデプロイおよび管理することもできます。 ClickPipes スタック

## サポートされているデータソース

| 名前 | タイプ | ステータス | 説明 | | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ----------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |

Azure Event Hubs | ストリーミング | 安定版 | ClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。詳細については、[Azure Event Hubs よくある質問](/ja/integrations/clickpipes/kafka/faq#azure-eventhubs)を参照してください。 | |

[MongoDB](/ja/integrations/clickpipes/mongodb/index) | DBMS | プライベートプレビュー | ClickPipes を設定し、MongoDB から ClickHouse Cloud へのデータ取り込みを開始します。 | 今後、さらに多くのコネクタが ClickPipes に追加される予定です。詳細は、[お問い合わせ](https://clickhouse.com/company/contact?loc=clickpipes)ください。

## AWS IAM データベース認証

ClickPipes は、Amazon RDS および Aurora の AWS IAM データベース認証に対応しています。設定方法はデータベースエンジンと AWS サービスによって異なるため、お使いのデータベースに対応するソースのセットアップガイドを選択してください。 | データベースエンジン | AWS サービス | セットアップガイド | | ---------- | ------------- | ------------------------------------------------------------------------------------------------------------- | | PostgreSQL | Amazon RDS | [RDS for PostgreSQL](/ja/integrations/clickpipes/postgres/source/rds#iam-authentication) | | PostgreSQL | Amazon Aurora | [Aurora PostgreSQL-Compatible Edition](/ja/integrations/clickpipes/postgres/source/aurora#iam-authentication) | | MySQL | Amazon RDS | [RDS for MySQL](/ja/integrations/clickpipes/mysql/source/rds#iam-authentication) | | MySQL | Amazon Aurora | [Aurora MySQL-Compatible Edition](/ja/integrations/clickpipes/mysql/source/aurora#iam-authentication) | | MariaDB | Amazon RDS | [RDS for MariaDB](/ja/integrations/clickpipes/mysql/source/rds-maria#iam-authentication) |

## 固定 IP の一覧

ClickPipes の固定 NAT IP の一覧は、[ClickPipes ネットワークドキュメント](/ja/integrations/clickpipes/networking/static-ips)に移動しました。

## ClickHouse設定の調整

ClickHouse Cloud では、ほとんどのユースケースに適したデフォルト設定が提供されています。ただし、ClickPipes の宛先テーブル向けに ClickHouse設定を調整する必要がある場合は、ClickPipes 専用のロールを作成するのが最も柔軟な方法です。手順: 1. カスタムロール `CREATE ROLE my_clickpipes_role SETTINGS ...` を作成します。詳細は [CREATE ROLE](/ja/reference/statements/create/role) の構文を参照してください。 2. ClickPipes の作成時に、`Details and Settings` ステップで ClickPipes ユーザーにカスタムロールを追加します。カスタムロールを割り当てる

## ClickPipes の高度な設定の調整

ClickPipes には、ほとんどのユースケースに対応できる適切なデフォルト設定が用意されています。さらに細かく調整する必要がある場合は、以下の設定を変更できます。

### オブジェクトストレージ用 ClickPipes

| 設定 | デフォルト値 | 説明 | | ------------------------------------ | ------- | ----------------------------------------------------------------------------------------------------------------------------- | | `Max insert bytes` | 10 GB | 1 回の挿入バッチで処理するバイト数。 | | `Max file count` | 100 | 1 回の挿入バッチで処理するファイルの最大数。 | | `Max threads` | auto(3) | ファイル処理に使用する[同時実行スレッドの最大数](/ja/reference/settings/session-settings/max-threads#max_threads)。 | | `Max insert threads` | 1 | ファイル処理に使用する[同時実行の挿入スレッドの最大数](/ja/reference/settings/session-settings/max-insert#max_insert_threads)。 | | `Min insert block size bytes` | 1 GB | テーブルに挿入可能な[ブロックの最小バイトサイズ](/ja/reference/settings/session-settings/min-insert#min_insert_block_size_bytes)。 | | `Max download threads` | 4 | [同時実行されるダウンロードスレッドの最大数](/ja/reference/settings/session-settings/max-download#max_download_threads)。 | | `Object storage polling interval` | 30 s | データを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。 | | `Parallel distributed insert select` | 2 | [Parallel distributed insert select 設定](/ja/reference/settings/session-settings/parallel#parallel_distributed_insert_select)。 | | `Parallel view processing` | false | アタッチされたビューへのプッシュを、[順次ではなく同時実行](/ja/reference/settings/session-settings/parallel#parallel_view_processing)にするかどうか。 | | `Use cluster function` | true | 複数のノードにまたがってファイルを並列に処理するかどうか。 | ClickPipes の高度な設定

### ストリーミング ClickPipes

| 設定 | デフォルト値 | 説明 | | -------------------------------- | ------ | ------------------------------------------ | | `Streaming max insert wait time` | 5 s | データを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。 |

## エラーの報告

ClickPipes は、インジェスト中に発生したエラーの種類に応じて、エラーを 2 つの別々のテーブルに保存します。これは現在、CDC パイプ (Postgres、MySQL、MongoDB) には適用されません。これらについては、運用ログとエラーログを ClickHouse Cloud コンソールで直接確認できます。

### レコードエラー

ClickPipes は、宛先テーブルと同じ場所に、末尾が `_clickpipes_error` となるテーブルを作成します。このテーブルには、データ形式の不正やスキーマの不一致によって発生したエラーが格納され、無効なメッセージ全体も記録されます。このテーブルの [有効期限 (TTL)](/ja/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) は 7 日です。

### システムエラー

ClickPipe の動作に関連するエラーは、`system.clickpipes_log` テーブルに保存されます。このテーブルには、ClickPipe の動作に関するその他のエラー (ネットワークや接続など) もすべて保存されます。このテーブルの [有効期限 (TTL)](/ja/reference/engines/table-engines/mergetree-family/mergetree#table_engine-mergetree-ttl) は 7 日間です。 ClickPipes が 15 分以内にデータソースに接続できない場合、または 1 時間以内に宛先に接続できない場合、ClickPipes インスタンスは停止し、適切なメッセージをシステムエラーテーブルに保存します (ClickHouse インスタンスが利用可能な場合) 。

## 監視

コンソールでの監視に加えて、ClickPipes はスクレイピング用に [Prometheus互換エンドポイント](/ja/products/cloud/features/monitoring/prometheus) へメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開され、既存のオブザーバビリティスタック (例: [Grafana](/ja/products/cloud/features/monitoring/prometheus#integrating-with-grafana)、[Datadog](/ja/products/cloud/features/monitoring/prometheus#integrating-with-datadog)) に ClickPipes の監視を統合できます。利用可能なメトリクスの一覧については、[ClickPipes の監視](/ja/integrations/clickpipes/monitoring) を参照してください。

## よくある質問

* **ClickPipes とは何ですか？** ClickPipes は ClickHouse Cloud の機能で、ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できます。Kafka 向け ClickPipes を使うと、データを ClickHouse に継続的に簡単に取り込み、リアルタイム分析に利用できるようになります。 * **ClickPipes はデータ変換をサポートしていますか？** はい。ClickPipes は DDL を作成できるため、基本的なデータ変換をサポートしています。さらに、ClickHouse の [materialized view 機能](/ja/concepts/features/materialized-views/cascading-materialized-views) を活用することで、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、より高度な変換を適用できます。 * **ClickPipes を使用すると追加料金が発生しますか？** ClickPipes の課金は、取り込みデータとコンピュートの 2 つの項目に基づいて行われます。料金の詳細は [このページ](/ja/products/cloud/reference/billing/clickpipes/index) を参照してください。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービスで間接的なコンピュートおよびストレージのコストが発生する場合もあります。 * **Kafka 向け ClickPipes の使用時にエラーや障害に対処する方法はありますか？** はい。Kafka からデータを取り込む際に、ネットワークや接続の問題などの運用上の理由で障害が発生した場合、Kafka 向け ClickPipes は自動的に再試行します。データの形式不正や無効なスキーマが発生した場合、ClickPipes はそのレコードを record\_error テーブルに保存し、処理を継続します。