عارض SQL

يتيح لك عارض SQL الخاص ب Ilum تشغيل استعلامات SQL مباشرة في واجهة المستخدم ، دون الحاجة إلى كتابة أي كود Scala أو Python . تم تصميمه من أجل البساطة ، ويوفر واجهة سهلة الاستخدام لتشغيل استعلامات SQL ، استكشاف البيانات واكتساب الرؤى بسرعة وكفاءة.

Whether you are prototyping, analyzing data, or debugging, the SQL Viewer allows you to focus solely on the query logic without managing the underlying code.

إنه قابل للتكوين بدرجة كبيرة من خلال قيم نشر واجهة المستخدم أو Helm ، مما يسمح بالمرونة في ، على سبيل المثال ، اختيار تنسيق جدول مختلف ، مثل Delta Lake و Apache Hudi ، أو أباتشي آيسبرغ.

كيف ستساعدك؟ ​

يعد SQL Viewer أداة قوية لإعداد التقارير وتصحيح الأخطاء أثناء تطبيق Spark تطور. بدلا من إنشاء برنامج Spark SQL بالكامل للاستعلام عن جداولك ، يمكنك إرسال SQL العبارات مباشرة داخل واجهة Ilum.

For debugging, SQL Viewer is invaluable—eliminating the need to repeatedly write, compile, and submit code like:

valمجموعة البيانات = شراره . SQL ( "select ...") 

بدلا من ذلك، يمكنك اختبار عبارات SQL بشكل تفاعلي دون إعادة إنشاء جلسات العمل في كل مرة.

بالإضافة إلى نتائج الاستعلام ، يوفر SQL Viewer أدوات استكشاف البيانات وتصورها ، جنبا إلى جنب باستخدام السجلات وإحصائيات التنفيذ، مما يمنحك رؤى أعمق حول عملية الاستعلام.

The SQL Viewer is also integrated with different data catalogs, which means that you can seamlessly query data from previously created tables.

بدء استخدام عارض SQL ​

Once set up, the SQL viewer should be available on the sidebar. Inside, Apache Spark and DuckDB should be available as options by default.

The SQL Viewer consists of three parts:

1. SQL query editor – The center part of the SQL Viewer, which allows you to write and execute SQL queries. It comes with a simple text editor in the query mode and a notebook-like interface in the notebook mode.

2. The sidebar – Contains your different SQL queries and notebooks in the "Queries" tab and a mini version of the مستكشف الجدول in the "Resources" tab.

3. The output - Will show up in the bottom part of the screen when you execute a query. It has a table with the results of the query, a data exploration tool, execution statistics, and logs.

   The data exploration tool in the SQL Viewer.

محركات بديلة ​

The SQL Viewer supports multiple engines, as of now: Spark SQL, Trino, and DuckDB.

While using the Spark SQL engine will ensure compatibility with most Ilum components, we recommend checking out the other options since they offer a much better ad-hoc query experience than Spark SQL.

الثلاثي ​

Trino هو محرك استعلام SQL موزع عالي الأداء مصمم لتحليلات البيانات الضخمة. إنه يوفر بديلا مقنعا ل Spark SQL ، خاصة بالنسبة للأخف ، أحمال العمل المخصصة حيث تكون سرعة تنفيذ الاستعلام وزمن الانتقال المنخفض من الأولويات. للحصول على تفاصيل التكوين الكاملة، راجع وثائق ترينو .

المقايضة هي أن محركات Spark SQL يتم إطلاقها عند الطلب ، بينما يجب أن يعمل Trino بشكل مستمر في الخلفية ، ويستهلك موارد نظام المجموعة.

توصيل Trino المدمج ب Hive Metastore ​

بينما يمكن ل Trino العمل بشكل مستقل ، فإن توصيله ب Ilum's Hive Metastore يوفر وصولا سلسا إلى نفس البيانات المتوفرة في Spark. يتطلب هذا التكامل إنشاء كتالوج مخصص في Trino يشير إلى Hive Metastore ، يستخدم تخزين S3 ، ويدعم مجموعة متنوعة من التنسيقات ، تماما كما يفعل Spark.

بشكل افتراضي ، يأتي Trino في Ilum مع ملف إيلوم دلتا الكتالوج، الذي تم تكوينه باستخدام اتصال Hive Metastore الافتراضي، تخزين S3 الافتراضي ودعم Delta Lake.

تم ذلك عن طريق تعيين التكوين التالي في القيم.yaml ملف مخطط Ilum helm الرئيسي:

ILUM-SQL : 
  التكوين : 
    ترينو : 
      تمكين :  صحيح 
      كتالوج : إيلوم - الدلتا 

ترينو : 
  تمكين :  صحيح 
  كتالوجات : 
    إيلوم دلتا :  |  # اسم الكتالوج الذي تم إنشاؤه 
connector.name=delta_lake # اسم الموصل (بحيرة دلتا هذه المرة) 
delta.metastore.store - جدول - البيانات الوصفية = صحيح # يجعل Trino يخزن البيانات الوصفية في Hive Metastore 
دلتا.سجل - جدول - procedure.enabled=صحيح # تمكين إجراءات تسجيل الجدول في Trino 
hive.metastore.uri=التوفير : إيلوم - خلية - ميتا ستور : 9083  # Hive Metastore URI 
fs.native - s3.enabled=صحيح # تمكين دعم S3 
s3.endpoint=http : إيلوم - مينيو : 9000  # نقطة نهاية S3 
s3.region=الولايات المتحدة - شرق - 1  # منطقة S3 
S3.المسار - نمط - الوصول = صحيح # الوصول إلى نمط مسار S3 
S3.AWS - ولوج - المفتاح = minioadmin # مفتاح الوصول S3 
S3.AWS - سر - المفتاح = minioadmin # مفتاح سري S3 

مثيل Trino الخارجي ​

من الممكن أيضا توصيل مثيل Trino الخاص بك عن طريق توفير قيم الدفة التالية:

ilum-sql.config.trino.enabled= صحيح 
# عنوان URL يشير إلى منسق Trino 
ilum-sql.config.trino.url = http://ilum-trino:8080 
# اسم الكتالوج الأساسي الذي تريد استخدامه 
ilum-sql.config.trino.catalog = نظام 

بطة دي بي ​

DuckDB in Ilum provides low-latency SQL queries without the overhead of spinning up Spark clusters. It’s embedded directly in the backend service, making it ideal for interactive exploration, medium-data ETL, and rapid prototyping.

For detailed DuckDB reference, see the official DuckDB documentation.

DuckDB vs. DuckLake​

بطة دي بي is the SQL engine. DuckLake is the storage layer and catalog that provides:

• Multi-user concurrent access to the same tables
• Persistent table metadata across sessions
• Time travel and schema evolution
• Cross-table transaction support

In Ilum, DuckDB uses DuckLake by default for tables created in SQL Viewer. This means CREATE TABLE statements produce persistent, queryable tables accessible to all users and jobs.

You can also read Parquet files directly without creating tables:

اختار  *  من  's3://bucket/data/*.parquet'; 

Use direct Parquet reads for one-off queries. Use DuckLake tables for repeated access and multi-user workflows.

For DuckLake configuration and features, see the DuckLake documentation.

تكوين ​

DuckDB has minimal configuration in Ilum. The primary setting controls connection lifecycle:

إيلوم كور : 
  SQL : 
    duckdb: 
      idleTimeout:  1h    # Time after which idle DuckDB instances are closed
                         # Reduces memory footprint for infrequent use

No additional settings are required—DuckDB extensions, DuckLake attachment, and catalog integration are configured automatically from your cluster and Helm values.

Resource Considerations​

DuckDB Extensions​

DuckDB supports a number of extensions, which can add additional functionality to your pipelines. In general, they can be installed either from the لب repository,which is included in the default installation, the community repository, which requires downloading the extension binary file every time you install the extension, or from a custom repository.

For now, Ilum provides two extensions for DuckDB in the custom repository:

• hive_metastore - allows you to connect to the Hive Metastore from DuckDB
• openlineage - allows you to track the execution of your pipelines using OpenLineage

The extensions are automatically configured with the settings from the helm values and the cluster, so you do not need to do anything else.

نصائح والممارسات الجيدة ​

استخدام عملاء SQL خارجيين مع JDBC ​

بينما يعمل SQL Viewer فقط في المستعرض ، يمكنك أيضا توصيل Ilum SQL بالبيئات الخارجية التي تدعم برامج تشغيل Hive / Spark JDBC. بهذه الطريقة ، يمكنك تشغيل الاستعلامات على بيانات Ilum الخاصة بك من عميل SQL المفضل لديك أو أداة BI.

للقيام بذلك، قم بإعداد اتصال JDBC باستخدام سلسلة الاتصال التالية:

JDBC: Hive2://<ilum-sql-host>:<thrift-binary-port>/<database-name>;؟ spark.ilum.sql.cluster.id=<cluster-id> 

أين:

• <ilum-sql-host> هو اسم المضيف لمكون خدمة Ilum SQL الخاص بك (على سبيل المثال، ILUM-SQL بدون رأس أو ilum-sql-thrift-binary )
• <thrift-binary-port> هو المنفذ الذي تتعرض عليه خدمة التوفير (الافتراضي هو 10009 )
• <database-name> هو اسم قاعدة البيانات التي تريد الاتصال بها (وضع افتراضي هناك)
• <cluster-id> هو معرف مجموعة Spark التي تريد الاتصال بها (يمكنك العثور عليها في Ilum Ui)

Using ODBC drivers for external tools​

For tools that require ODBC connectivity (such as Excel, Power BI, or legacy reporting systems), connect to ilum using the Simba Spark ODBC Driver.

1. Download the driver from the Simba Spark ODBC Driver page (available for Windows, macOS, and Linux).

2. Configure a DSN (Data Source Name) with these parameters:

   Parameter	قيمة
   Host	<ilum-sql-host> or LoadBalancer IP
   Port	10009
   المصادقه	Username/Password (ilum credentials) or No Authentication
   Thrift Transport	Binary
   SSL	Enable for production environments

3. Connect from your application using the configured DSN. Most tools provide an ODBC data source selector in their connection dialogs.

استخدام عارض SQL على مجموعات البيانات من مكونات Ilum الأخرى ​

يقوم SQL Viewer بإنشاء جداول في Hive Metastore بشكل افتراضي ، مما يعني أن أي موارد Spark ، والتي تستخدم أيضا نفس metastore ، ستتمكن من رؤية هذه الجداول.

عادة ما تحتوي الوظيفة التي تستخدم metastore على التكوين التالي:

spark.sql.الكتالوجالتنفيذ = خلية 
spark.hadoop.hive.metastore.uris = thrift://<hive-metastore-host>:<hive-metastore-port> 
# موقع التخزين للمخزن الوصفي (على سبيل المثال ، s3) 
spark.hadoop.fs.s3a.access.key = <access-key> 
spark.hadoop.fs.s3a.secret.key = <secret-key> 
spark.hadoop.fs.s3a.endpoint = <s3-endpoint> 
spark.hadoop.fs.s3a.path.style.access = صحيح 
spark.hadoop.fs.s3a.fast.upload = صحيح 

يمكننا أن نرى أنه يتم توفير uri الخاص ب metastore ويتم استخدام موقع تخزين مشترك.

مثال على المكون الذي يستخدم أيضا metastore هو مستكشف طاولة Ilum .

استفد من عناصر تحسين Spark ​

يوفر Spark SQL العديد من ميزات التحسين التي يمكن أن تحسن أداء الاستعلام بشكل كبير من خلال التقسيم ، التجميع وتنسيقات التخزين المناسبة. تساعد تقنيات التحسين هذه Spark على معالجة الاستعلامات بشكل أكثر كفاءة ، خاصة عند التعامل مع مجموعات البيانات الكبيرة ، عن طريق تقليل كمية البيانات التي يجب مسحها ضوئيا وتحسين تنظيم البيانات على القرص.

يوضح المثال التالي تعريف جدول يتضمن العديد من تقنيات التحسين:

1. تقسيم الجدول حسب تاريخ و بلد ، مما يسمح ل Spark بتخطي الأقسام غير ذات الصلة
2. تجميع البيانات حسب معرف المستخدم لتحسين موقع البيانات للصفوف ذات الصلة
3. فرز البيانات حسب وقت المشاهدة لاستعلامات نطاق أكثر كفاءة
4. تنظيم البيانات في حاويات لتوزيع أفضل
5. باستخدام السمة الباركيه التنسيق المحسن للتخزين العمودي والاستعلام الفعال

خلق  جدول page_view 
( 
وقت المشاهدة الباحث , 
معرف المستخدم بيجينت , 
page_url سلسلة , 
referrer_url سلسلة , 
صفيف الأصدقاء < بيجينت > , 
خريطة العقارات < خيط , خيط > , 
سلسلة DT , 
سلسلة البلد 
)  التعليق  "هذا هو جدول عرض الصفحة" 
تقسيم ب ( دي تي , بلد ) 
متفاوت المسافات  ب ( معرف المستخدم ) فرز ب ( وقت المشاهدة )  إلى  32 الجرادل 
تخزين مثل الباركيه 

يمكن تحقيق تأثير مماثل باستخدام الميزات التي توفرها تنسيقات الجداول البديلة ، وهي مناقشه ادناه

استخدام ملحقات Spark SQL لزيادة أداء الاستعلامات الخاصة بك ​

يسمح لك Spark SQL باستخدام العديد من ملحقات SQL لتحسين وظيفة SQL المضمنة. يتم ذلك عبر spark.sql. الامتدادات مال. على سبيل المثال، يمكنك إضافة بحيرة دلتا ، والذي يوفر ميزات إضافية للعمل مع جداول دلتا.

ومع ذلك، يمكن أيضا استخدام هذه الخاصية لتمكين الملحقات الأخرى، مثل ملحق تحسين SQL لمحركات تنفيذ Spark. لتمكينه، إما:

• استخدم إحدى صور Ilum Spark الأحدث
• أضف ملف JAR للملحق من مستودع Maven: org.apache.kyuubi:kyuubi-extension-spark-<SPARK_VERSION>_<SCALA_VERSION>:<KYUUBI_VERSION>
• قم بتعديل صورة الحاوية الخاصة ب Spark وأضف ملف JAR إلى مسار الفصل

سيسمح لك ذلك بإضافة الملحق إلى محرك SQL الخاص بك على النحو التالي: spark.sql.extensions=org.apache.kyuubi.sql.KyuubiSparkSQLExtension . هذه الخاصية عبارة عن قائمة ملحقات مفصولة بفواصل، بحيث يمكنك إضافة ملحقات متعددة.

حفظ الاستعلامات واستيراد واستعلامات SQL وتصديرها ​

يتيح لك عارض SQL حفظ استفساراتك لاستخدامها لاحقا ، بالإضافة إلى استيرادها وتصديرها.

Make use of More Advanced Data Formats: Apache Iceberg, Apache Hudi, and Delta Tables​

جداول دلتا ​

Delta Lake هي طبقة تخزين مفتوحة المصدر تجلب معاملات ACID إلى Apache Spark و أحمال عمل البيانات الضخمة. يستخدم جداول دلتا كتنسيقها الأساسي ، الجمع بين ملفات الباركيه مع سجلات المعاملات . تتعقب هذه السجلات إصدارات الجدول وتلتقط عمليات DML و التعامل مع التزامن مع الأقفال.

بعبارات بسيطة ، تنشئ كل عملية على قسم إصدارا جديدا ، مع الحفاظ على الإصدار السابق ل التراجع السهل إذا لزم الأمر. يساعد ملف سجل المعاملات هذه الإصدارات على إدارة القفل والإصدار التحكم ، وضمان اتساق البيانات.

دلتا ليك سهلة الاستخدام وخيار ممتاز لدمج إضافة ميزات إضافية إلى بيئة Ilum الخاصة بك.

لمزيد من التفاصيل حول إدارة التزامن في Delta Lake مع اورينت (التحكم في التزامن المتفائل) ، و كيف يدمج البث والكتابة المجمعة ، نوصي بزيارة توثيق بحيرة دلتا .

ملامح: ​

• صيانة خصائص الحمض
• دعم عمليات التحديث والحذف والدمج
• تطور المخطط: تغيير الجداول
• تعيين الإصدار: القدرة على السفر عبر الزمن إلى الإصدارات السابقة من مجموعة البيانات
• تحسين أفضل مقارنة بالتنسيقات التقليدية
• تكامل هذه الميزات لكل من البث والدفعات

كيفية استخدام جداول دلتا؟ ​

بشكل افتراضي ، يتم تمكين جداول دلتا داخل عارض SQL الخاص ب Ilum. يتم تعيين التكوينات التالية لك:

spark.sql. الامتدادات = io.delta.sql.DeltaSparkSessionExtension 
spark.sql.catalog.spark_catalog = org.apache.spark.sql.delta.catalog.DeltaCatalog 
spark.databricks.delta.catalog.update.enabled = صحيح 

لذلك ، يمكنك الاستفادة من جداول دلتا داخل عارض SQL الخاص بك دون أي خطوات إضافية.

1. إنشاء جدول دلتا

   خلق  جدول my_health_data_delta 
   ( 
       الطابع الزمني   الطابع الزمني , 
   معدل ضربات القلب الباحث , 
   حركة اليد الباحث , 
   مرحلة النوم فارشار ( 20 ) 
   )  استخدام الدلتا ; 
   

2. تشغيل بعض عمليات DML

   أدخل  إلى my_health_data_delta ( الطابع الزمني , معدل ضربات القلب , حركة اليد , مرحلة النوم )  القيم 
   ( يلقي ( '2024-10-01 00:00:00'  مثل  الطابع الزمني ) ,  70 ,  1 ,  "مستيقظ" ) , 
   ( يلقي ( '2024-10-01 01:00:00'  مثل  الطابع الزمني ) ,  68 ,  0 ,  "ضوء" ) , 
   ( يلقي ( '2024-10-01 02:00:00'  مثل  الطابع الزمني ) ,  65 ,  0 ,  "عميق" ) , 
   ( يلقي ( '2024-10-01 03:00:00'  مثل  الطابع الزمني ) ,  64 ,  1 ,  "عميق" ) , 
   ( يلقي ( '2024-10-01 04:00:00'  مثل  الطابع الزمني ) ,  66 ,  0 ,  "ضوء" ) ; 
   

   حذف  من my_health_data_delta 
   أين  الطابع الزمني  =  '2024-10-01 02:00:00' ; 
   

   تحديث my_health_data_delta 
   جبر معدل ضربات القلب =  50 
   أين  الطابع الزمني  =  '2024-10-01 03:00:00' ; 
   

3. انظر إلى محفوظات الإصدار والتفاصيل

   وصف التاريخ my_health_data_delta 
   

   

4. استخدام وظيفة السفر عبر الوقت والإصدار

   اختار  * 
   من my_health_data_delta الإصدار مثل  من  1 
   

   أو للسفر إلى تاريخ محدد (على سبيل المثال ، عودة يوم واحد):

   اختار  * 
   من my_health_data_delta الطابع الزمني  مثل  من date_sub ( current_date ( ) ,  1 ) 
   

5. تنظيف

   بينما تم تحسين جداول دلتا للأداء ، يمكن أن تتراكم عدد كبير من الملفات بمرور الوقت. ال مِكْنَسَة كَهْرَبَائِيَّة تساعد العملية على تنظيف هذه الملفات وتحسين الجدول. يمكنك أن تقرأ عنها هنا .

   فراغ my_health_data_delta 
   

   أو لمعرفة الملفات التي سيتم حذفها (حتى 1000):

   فراغ my_health_data_delta تشغيل جاف 
   

أباتشي هودي ​

في حين أن أباتشي هودي تشبه بحيرة دلتا ، إلا أنها تتمتع بمزاياها الفريدة. في Apache Hudi ، يتم تنظيم كل قسم في مجموعات الملفات . تتكون كل مجموعة ملفات من شرائح ، التي تحتوي على ملفات البيانات وملفات السجل المصاحبة. تسجل ملفات السجل الإجراءات والبيانات المتأثرة ، مما يسمح ل Hudi بتحسين عمليات القراءة من خلال تطبيق هذه الإجراءات على الملف الأساسي لإنتاج أحدث طريقة عرض للبيانات.

لتبسيط العملية، التكوين الضغط العمليات ضرورية. ينشئ الضغط شريحة جديدة بملف أساسي محدث، مما يحسن الأداء.

هذا الهيكل ، جنبا إلى جنب مع التحسين الشامل ل Hudi ، يعزز كفاءة الكتابة ، مما يجعله أسرع من التنسيقات البديلة في سيناريوهات معينة. علاوة على ذلك ، يدعم Hudi NBCC (التحكم في التزامن غير المحظور) بدلاً من اورينت (التحكم المتفائل في التزامن) ، وهو أكثر فاعلية في البيئات التي تحتوي على عمليات الكتابة المتزامنة العالية.

باختصار ، يعد Apache Hudi مناسبا تماما للبيئات ذات عمليات الكتابة المتزامنة الثقيلة و يوفر مزيدا من التحكم في التحسينات المخصصة ، على الرغم من أنه قد يكون أقل سهولة في الاستخدام من Delta Lake.

لمعرفة المزيد حول هذا الموضوع ، يجب عليك زيارة صفحة توثيق أباتشي هودي

كيفية استخدام أباتشي هودي؟ ​

على عكس بحيرة دلتا ، لم يتم تكوين أباتشي هودي مسبقا. لذلك، ستحتاج إلى تغيير تكوين نظام المجموعة وإضافة الخصائص التالية:

{ 
  "شرارة.جارات.حزمات" :  "org.apache.hudi:hudi-spark3.5-bundle_2.12:0.15.0" , 
  "سبارك.سيريالايزر" :  "org.apache.spark.serializer.KryoSerializer" , 
  "spark.sql.catalog.spark_catalog" :  "org.apache.spark.sql.hudi.catalog.HoodieCatalog" , 
  "spark.sql. الامتدادات" :  "org.apache.spark.sql.hudi.HoodieSparkSessionExtension" , 
  "spark.kryo.registrator" :  "org.apache.spark.HoodieSparkKryoRegistrar" 
} 

Remember to make sure that the version of the Hudi-spark’s jar is matching the version of the Spark you are using.

بالإضافة إلى ذلك ، نظرا لأن حزمة الجرة غير مثبتة مسبقا ، قد تواجه مشكلة نفاد ذاكرة JVM كومة أثناء تهيئة المحرك. لقراءة المزيد حول هذه المشكلة وكيفية إصلاحها، يرجى الرجوع إلى قسم استكشاف الأخطاء وإصلاحها .

1. إنشاء جدول هودي

   خلق  جدول my_sales_data_hudi ( 
   sale_id سلسلة , 
   sale_date الطابع الزمني , 
   product_id سلسلة , 
   كم الباحث , 
   ثمن عشري ( 10 ,  2 ) 
   )  استخدام هودي 
   خصائص TBL ( 
       نوع  =  "مور" , 
   أساسيمفتاح =  'sale_id' 
   ) ; 
   

   لاحظ النوع = "mor" الخاصية ، والتي تعني دمج عند القراءة . تغير هذه الخاصية نوع الجدول، الذي يوازن بين التحسين بين القراءة والكتابة العمليات.

2. إجراء عمليات DML

   أدخل  إلى my_sales_data_hudi ( sale_id , sale_date , product_id , كم , ثمن )  القيم 
   ( "S001" , يلقي ( '2024-10-01 10:00:00'  مثل  الطابع الزمني ) ,  "P001" ,  10 ,  99.99 ) , 
   ( "S002" , يلقي ( '2024-10-01 11:00:00'  مثل  الطابع الزمني ) ,  "P002" ,  5 ,  49.99 ) , 
   ( "S003" , يلقي ( '2024-10-01 12:00:00'  مثل  الطابع الزمني ) ,  "P003" ,  20 ,  19.99 ) , 
   ( "S004" , يلقي ( '2024-10-01 13:00:00'  مثل  الطابع الزمني ) ,  "P004" ,  15 ,  29.99 ) , 
   ( "S005" , يلقي ( '2024-10-01 14:00:00'  مثل  الطابع الزمني ) ,  "P005" ,  8 ,  39.99 ) ; 
   

   تحديث my_sales_data_hudi 
   جبر ثمن =  89.99 
   أين sale_id =  "S001" ; 
   

   حذف  من my_sales_data_hudi 
   أين sale_id =  "S003" ; 
   

3. قائمة الالتزامات

   دعا show_commits ( جدول  = >  'my_sales_data_hudi' ,  حد  = >  5 ) 
   

   

   لاحظ هنا commit_time ، والذي يعرض وقت الالتزام. يمكننا استخدام هذه القيمة لأداء السفر عبر الزمن.

4. استخدام وظيفة السفر عبر الزمن

   دعا rollback_to_instant ( جدول  = >  'my_sales_data_hudi' , instant_time = >  '<commit-time-from-last-step>' ) ; 
   

   سيقوم هذا الأمر بإرجاع الجدول إلى الحالة التي كان فيها في وقت الالتزام المحدد. ضع في اعتبارك أنه يمكنك عكس الالتزام الأخير فقط ، لذلك إذا كنت تريد العودة إلى أبعد من ذلك ، تحتاج إلى إجراء عمليات تراجع متعددة.

أباتشي آيسبرغ ​

Apache Iceberg هو تنسيق جدول عالي الأداء مصمم خصيصا لبحيرات البيانات ، تقدم إمكانات فريدة مقارنة بالتنسيقات الأخرى. بنيت حول هندسة معمارية مميزة ، يستخدمها Iceberg لقطات لإدارة حالات الجدول، تجنب الاعتماد على سجلات المعاملات التقليدية. يلتقط هذا التصميم المستند إلى اللقطة الحالة الكاملة للجدول في نقاط زمنية محددة.

تحتوي كل لقطة على قائمة البيان ، والتي بدورها تشير إلى بيانات متعددة. تنظم هذه البيانات مؤشرات إلى ملفات بيانات محددة وتحتفظ بالبيانات الوصفية ذات الصلة ، تمكين Iceberg من تتبع التغييرات بكفاءة دون تكرار ملفات البيانات عبر اللقطات. يعمل هذا الأسلوب على تحسين التخزين، حيث يمكن للقطات إعادة استخدام ملفات البيانات الموجودة، مما يقلل من التكرار.

يوفر Iceberg أيضا ميزات قوية مثل التفرع ووضع العلامات , السماح للمستخدمين بإنشاء فروع للجداول وتعيين علامات يمكن للبشر قراءتها للقطات. هذه الميزات ضرورية للتحكم في الإصدار ، تمكين الفرق من إدارة التحديثات المتزامنة واختبار التغييرات قبل إلزامها بالإنتاج.

مع خيارات تنظيم البيانات المرنة وقدرات تعيين الإصدار القوية، يتيح Apache Iceberg إدارة بيانات قابلة للتطوير وأداء لبحيرات البيانات الحديثة.

المزيد عن وثائق Apache Iceberg

كيفية استخدام Apache Iceberg؟ ​

على عكس بحيرة دلتا ، لم يتم تكوين أباتشي هودي مسبقا. لذلك، ستحتاج إلى تغيير تكوين نظام المجموعة وإضافة الخصائص التالية:

{ 
  "شرارة.جارات.حزمات" :  "org.apache.iceberg: iceberg-spark-runtime-3.5_2.12: 1.6.1" , 
  "spark.sql. الامتدادات" :  "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions" , 
  "spark.sql.catalog.spark_catalog" :  "org.apache.iceberg.spark.SparkSessionCatalog" , 
  "spark.sql.catalog.spark_catalog.type" :  "خلية النحل" , 
  "spark.sql.catalog.spark_catalog.uri" :  "thrift://ilum-hive-metastore:9083" 
} 

Remember to make sure that the version of the Iceberg’s jar is matching the version of the Spark you are using and that the Hive Metastore is available at the specified URI.

بالإضافة إلى ذلك ، نظرا لأن حزمة الجرة غير مثبتة مسبقا ، قد تواجه مشكلة نفاد ذاكرة JVM كومة أثناء تهيئة المحرك. لقراءة المزيد حول هذه المشكلة وكيفية إصلاحها، يرجى الرجوع إلى قسم استكشاف الأخطاء وإصلاحها .

1. قم بإنشاء جدول جبل جليدي:

   خلق  جدول weather_stations 
   ( 
   station_id سلسلة , 
   reading_time الطابع الزمني , 
   درجة الحرارة عشري ( 4 , 1 ) , 
   رطوبة الباحث , 
   wind_speed عشري ( 4 , 1 ) 
   )  استخدام مثلجة 
   

2. إدراج البيانات في الجدول

   أدخل  إلى weather_stations القيم 
   ( "WS001" , يلقي ( '2024-03-01 08:00:00'  مثل  الطابع الزمني ) ,  15.5 ,  65 ,  12.3 ) , 
   ( "WS001" , يلقي ( '2024-03-01 09:00:00'  مثل  الطابع الزمني ) ,  17.2 ,  62 ,  10.5 ) , 
   ( "WS001" , يلقي ( '2024-03-01 10:00:00'  مثل  الطابع الزمني ) ,  19.8 ,  58 ,  11.7 ) , 
   ( "WS002" , يلقي ( '2024-03-01 08:00:00'  مثل  الطابع الزمني ) ,  14.2 ,  70 ,  8.9 ) , 
   ( "WS002" , يلقي ( '2024-03-01 09:00:00'  مثل  الطابع الزمني ) ,  16.0 ,  68 ,  9.2 ) , 
   ( "WS002" , يلقي ( '2024-03-01 10:00:00'  مثل  الطابع الزمني ) ,  18.5 ,  63 ,  10.1 ) , 
   ( "WS003" , يلقي ( '2024-03-01 08:00:00'  مثل  الطابع الزمني ) ,  13.7 ,  72 ,  15.4 ) , 
   ( "WS003" , يلقي ( '2024-03-01 09:00:00'  مثل  الطابع الزمني ) ,  15.9 ,  69 ,  14.8 ) , 
   ( "WS003" , يلقي ( '2024-03-01 10:00:00'  مثل  الطابع الزمني ) ,  18.1 ,  65 ,  13.2 ) ; 
   

3. إنشاء علامة من اللقطة الحالية

   تغيير  جدول weather_stations خلق العلامه ` initial_state ` 
   

4. قم بإجراء بعض التعديلات على البيانات

   تحديث weather_stations 
   جبر 
   درجة الحرارة =  16.5 
   أين 
   station_id =  "WS001" 
     و reading_time = يلقي ( '2024-03-01 08:00:00'  مثل  الطابع الزمني ) 
   

   حذف  من weather_stations أين station_id =  "WS002" 
   

5. سرد جميع اللقطات

   اختار  *  من spark_catalog . افتراضي . weather_stations . لقطات 
   

   

   حفظ الطابع الزمني ( commited_at ) من اللقطة التي تريد السفر عبر الزمن إليها لوقت لاحق.

6. الحصول على السجل

   اختار  *  من spark_catalog . افتراضي . weather_stations . تاريخ 
   

7. التراجع إلى علامة معينة

   دعا spark_catalog . نظام . set_current_snapshot ( 
     جدول  = >  "spark_catalog.default.weather_stations" , 
   الرقم المرجعي = >  'initial_state' 
   ) 
   

8. السفر عبر الزمن إلى لقطة معينة

   اختار  *  من weather_stations الطابع الزمني  مثل  من  < الطابع الزمني - من - درج - 5 > 
   

كيفية استخدام UDFs في عارض SQL؟ ​

UDFs (الوظائف المعرفة من قبل المستخدم) هي ميزة قوية في SQL تسمح لك بتحديد وظائف مخصصة لاستخدامها في استعلاماتك. كما أنها مدعومة في عارض SQL ، مما يسمح لك بتوسيع وظائف استعلاماتك.

1. إنشاء فصل دراسي ل UDF الخاص بك

   حزمة  example
   
   استورد  org. apache. hadoop. خلية . ql. exec. UDF
   
   فصل سكالا یو دي اف extends UDF { 
     مواطنه  evaluate( str:  String) :  Int =  { 
       str. length( ) 
     } 
   } 
   

   تأكد من تضمين التبعية اللازمة ل الخلية التنفيذية: 3.1.3 في مشروعك:

   < تبعية > 
       < معرف المجموعة > org.apache.hive </ معرف المجموعة > 
       < معرف القطعة الأثرية > خلية تنفيذية </ معرف القطعة الأثرية > 
       < الإصدار > 3.1.3 </ الإصدار > 
   </ تبعية > 
   

2. اصنع عبوة جرة وضعها في التخزين الموزع

   

   تأكد من تذكر المسار المؤدي إلى ملف البرطمان.

3. إضافته إلى جلسة عمل شرارة عارض SQL

   جمع مرطبان '<the-path-to-your-jar-file>' 
   

4. قم بإنشاء دالة مرتبطة ب udf الذي حددته

   خلق 
   أو  استبدل  دالة سكالا یو دي اف مثل  "مثال. ScalaUDF 
   

5. استخدمه في استعلام

   اختار اسم , سكالا یو دي اف ( اسم ) 
   من NewtableName 
   

استكشاف الاخطاء ​

من المفيد معرفة أنه عند تنفيذ استعلامات SQL من صفحة SQL Viewer ، تكون محركات تنفيذ SQL مرئية كوظائف Ilum العادية. هذا يعني أنه يمكنك مراقبة حالتهم والتحقق من السجلات والإحصائيات ، تماما مثل أي وظيفة أخرى في علامة التبويب "الوظائف".

كومة JVM خارج الذاكرة أثناء إرسال الشرارة ​

إذا وجدت خطأ مثل هذا في سجلات تشغيل المحرك:

استثناء في مؤشر ترابط "رئيسي" io.fabric8.kubernetes.client.KubernetesClientException: مساحة كومة الذاكرة المؤقتة في Java 
في io.fabric8.kubernetes.client.dsl.internal.OperationSupport.waitForResult (OperationSupport.java:520) 
في io.fabric8.kubernetes.client.dsl.internal. OperationSupport.handleResponse(OperationSupport.java:535) 
... 
في org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1129) 
في org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
الناجم عن: java.lang.OutOfMemoryError: مساحة كومة الذاكرة المؤقتة في Java 
... 

من المحتمل أن يكون سببه حجم كومة JVM الافتراضي لإرسال الشرارة الداخلي ل Ilum صغير جدا بالنسبة لمهمتك.

لإصلاح ذلك، يمكنك التبديل إلى إرسال الشرارة الخارجية . بهذه الطريقة ، لن تكون عملية إرسال الشرارة مقيدة بموارد جراب Ilum.