مصادر البيانات المدعومة
| الاسم | الشعار | النوع | الحالة | الوصف |
|---|---|---|---|---|
| Apache Kafka |  | البث | مستقر | هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Apache Kafka إلى ClickHouse Cloud. |
| Confluent Cloud |  | البث | مستقر | استفد من الإمكانات المشتركة لـ Confluent وClickHouse Cloud من خلال تكاملنا المباشر. |
| Redpanda |  | البث | مستقر | هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Redpanda إلى ClickHouse Cloud. |
| AWS MSK |  | البث | مستقر | هيّئ ClickPipes وابدأ باستيعاب بيانات البث من AWS MSK إلى ClickHouse Cloud. |
| Azure Event Hubs |  | البث | مستقر | هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Azure Event Hubs إلى ClickHouse Cloud. |
| WarpStream |  | البث | مستقر | هيّئ ClickPipes وابدأ باستيعاب بيانات البث من WarpStream إلى ClickHouse Cloud. |
مستوى العزل
kafka_read_committed لاستخدام read_committed وتخطي الرسائل الناتجة عن معاملات Kafka المُجهضة. عطّله لاستخدام read_uncommitted وقراءة جميع الرسائل. يمكنك تهيئة هذا الإعداد ضمن الإعدادات المتقدمة.
تنسيقات البيانات المدعومة
أنواع البيانات المدعومة
الأنواع القياسية
- الأنواع الرقمية الأساسية - [U]Int8/16/32/64 و Float32/64 و BFloat16
- أنواع الأعداد الصحيحة الكبيرة - [U]Int128/256
- Decimal Types
- Boolean
- String
- FixedString
- Date و Date32
- DateTime و DateTime64 (مناطق زمنية UTC فقط)
- Enum8/Enum16
- معرّف UUID
- IPv4
- IPv6
- Time و Time64
- JSON
- جميع أنواع LowCardinality في ClickHouse
- Map بمفاتيح وقيم تستخدم أيًا من الأنواع المذكورة أعلاه (بما في ذلك Nullable)
- Tuple و Array بعناصر تستخدم أيًا من الأنواع المذكورة أعلاه (بما في ذلك Nullable، وبعمق مستوى واحد فقط)
- أنواع SimpleAggregateFunction (لوجهات AggregatingMergeTree أو SummingMergeTree)
دعم نوع Variant
- اتحادات Avro. إذا كان مخطط Avro لديك يحتوي على
unionيضم عدة أنواع غير NULL، فسيستنتج ClickPipes نوع Variant المناسب. بخلاف ذلك، لا تكون أنواع Variant مدعومة في بيانات Avro. - حقول JSON. يمكنك تحديد نوع Variant يدويًا (مثل
Variant(String, Int64, DateTime)) لأي حقل JSON في مصدر تدفق البيانات. لا تُدعَم الأنواع الفرعية المعقدة (arrays/maps/tuples). بالإضافة إلى ذلك، ونظرًا للطريقة التي يحدد بها ClickPipes النوع الفرعي الصحيح من Variant الذي يجب استخدامه، لا يمكن استخدام أكثر من نوع عدد صحيح واحد أو نوع DateTime واحد في تعريف Variant — على سبيل المثال،Variant(Int64, UInt32)غير مدعوم.
دعم نوع JSON
- يمكن دائمًا إسناد حقول Avro Record وProtobuf Message إلى عمود JSON.
- يمكن إسناد حقول Avro String وBytes إلى عمود JSON إذا كان حقل Avro يحتوي فعليًا على كائنات JSON مخزنة كسلاسل نصية.
- يمكن إسناد أنواع Protobuf String وBytes إلى عمود JSON إذا كان حقل Protobuf يحتوي فعليًا على كائنات JSON مخزنة كسلاسل نصية.
- يمكن إسناد حقول JSON التي تكون دائمًا كائنات JSON إلى عمود JSON في الوجهة.
Avro
أنواع بيانات Avro المدعومة
local-timestamp-millis وlocal_timestamp-micros. تُحوَّل أنواع Avro record إلى Tuple، وأنواع array إلى Array، وmap إلى Map (بمفاتيح نصية فقط). وبوجه عام، تتوفر التحويلات المذكورة هنا. نوصي باستخدام المطابقة الدقيقة للأنواع الرقمية في Avro، لأن ClickPipes لا تتحقق من تجاوز السعة أو فقدان الدقة عند تحويل الأنواع. وبدلاً من ذلك، يمكن إدراج جميع أنواع Avro في عمود String، وستُمثَّل في هذه الحالة كسلسلة JSON صالحة.
أنواع Nullable واتحاد في Avro
(T, null) أو (null, T)، حيث إن T هو نوع Avro الأساسي. أثناء استنتاج المخطط، تُربَط أنواع اتحاد هذه بعمود “Nullable” في ClickHouse. لاحظ أن ClickHouse لا يدعم الأنواع Nullable(Array) وNullable(Map) وNullable(Tuple). ستُحوَّل اتحادات null في Avro لهذه الأنواع إلى إصدارات غير Nullable (وتُحوَّل أنواع Avro Record إلى Tuple مُسمّى في ClickHouse). وستُدرَج قيم Avro “nulls” لهذه الأنواع على النحو التالي:
- Array فارغة لصفيف Avro null
- Map فارغة لـ Avro Map null
- Tuple مُسمّى تحتوي على جميع القيم الافتراضية/الصفرية لـ Avro Record null
Protobuf
أنواع بيانات Protobuf المدعومة
group في proto 2، وهو نوع أُعلن عن إهماله منذ وقت طويل. وتستخدم تحويلات الأنواع الأساسية عمليات التحويل التالية:
تتوفّر أيضًا متغيرات
Array وMap وNullable لجميع الأنواع الأساسية.
الأنواع الشائعة المعروفة التالية مدعومة أيضًا:
Protobuf oneof
oneof افتراضيًا بـ Tuple مُسمّى، بحيث لا يحمل قيمة غير افتراضية سوى حقل واحد كحد أقصى.
ويمكن أيضًا ربط هذه الحقول تلقائيًا بعمود Variant، بحيث تأخذ القيمة النشطة نوع الحقل المكوّن الذي جرى تعيينه.
وبدلاً من ذلك، يمكن ربط كل حقل مكوّن يدويًا بعمود ClickHouse خاص به؛ ونظرًا إلى أن حقول oneof متنافية فيما بينها، فلن يُملأ لكل سجل سوى عمود واحد.
قوائم الرسائل
الأعمدة الافتراضية في Kafka
Add Column.
لاحظ أن العمود
_raw_message يُوصى به فقط لبيانات JSON.
وفي حالات الاستخدام التي تكون فيها سلسلة JSON فقط هي المطلوبة (مثل استخدام دوال ClickHouse JsonExtract* من أجل
ملء عرض مادي لاحق)، قد يؤدي حذف جميع الأعمدة “غير الافتراضية” إلى تحسين أداء ClickPipes.
مفاتيح الرسائل المهيكلة
_key بعمود String إلى تخزين مفتاح رسالة Kafka الأصلي. تتجاوز هذه المطابقة فك ترميز المفتاح والبحث عن المخطط. لاستخراج الحقول من مفتاح مهيكل، طابِق حقول المصدر التي تبدأ بـ _key.. على سبيل المثال، لمفتاح JSON {"customer":{"id":42}}، طابِق _key.customer.id بعمود وجهة مثل customer_id.
بالنسبة إلى مطابقات _key.* أو المطابقة المباشرة لـ _key بنوع غير String، يتحقق ClickPipes أولاً مما إذا كان المفتاح مُرمَّزًا باستخدام سجل المخططات المُهيأ. وإذا لم يكن كذلك، يتحقق مما إذا كان المفتاح كائن JSON. يجب أن يستخدم المفتاح المُرمَّز عبر السجل التنسيق نفسه وعائلة السجل نفسها التي تستخدمها قيمة السجل، لكنه قد يستخدم معرّف مخطط مختلفًا. تُكتشف تغييرات مخطط المفتاح تلقائيًا.
عند تمكين فك الترميز، لا تملأ المفاتيح الخام وقيم JSON القياسية أو المصفوفات أو JSON غير الصالح حقول المفاتيح المتداخلة؛ وتتلقى أعمدة الوجهة القيم الافتراضية لنوعها. إذا تعرّف ClickPipes على مفتاح مُرمَّز عبر السجل، لكنه لم يتمكن من استرداد مخططه أو تطبيقه، فإنه يكتب سجل Kafka في جدول أخطاء ClickPipes.
يمكن أن يكون لمفتاح Avro أيضًا مخطط جذر غير سجل، مثل نوع بدائي أو مصفوفة أو خريطة أو نوع ثابت. لفك ترميز أحدها، طابِق _key مباشرةً بنوع وجهة متوافق غير String. لا تستطيع المخططات غير السجل ملء حقول المفاتيح المتداخلة.