تخطي إلى المحتوى الرئيسي

منطاد في إيلوم

نظره عامه ​

منطاد عبارة عن نظام أساسي تفاعلي قائم على الويب لاستكشاف البيانات وتصورها وتحليلها على منصات البيانات الضخمة مثل Apache Spark.
في Ilum ، تم دمج Zeppelin بإحكام مع خدمات Ilum الأساسية ، بما في ذلك مجموعة Spark و Ilum-Livy-Proxy. وهو يدعم التحليلات التعاونية متعددة اللغات مع إمكانات تصور قوية ، مما يجعله مثاليا للتحليل المخصص ولوحات المعلومات وسير عمل بيانات الفريق.

ملاحظه:

  • منطاد اختياري في Ilum. يمكن تمكينه وإدارته كوحدة منفصلة.
  • يوفر Zeppelin تجربة مختلفة عن JupyterLab - راجع جداول المقارنة في نظرة عامة على دفاتر الملاحظات .
  • حاليا ، لا يوفر Zeppelin في Ilum أي مصادقة أو تحكم في وصول المستخدم. يتمتع أي شخص يمكنه الوصول إلى واجهة الويب Zeppelin بإمكانية الوصول الكامل إلى جميع أجهزة الكمبيوتر المحمولة والميزات.

دلائل الميزات ​

  • تحليلات متعددة اللغات:
    استخدم المترجمين الفوريين لتشغيل التعليمات البرمجية في Python و Scala و SQL و Bash والمزيد - كل ذلك في مستند واحد.
  • دعم Spark من الدرجة الأولى:
    تسمح مترجمات Spark المخصصة (عبر Livy) بتشغيل مهام Spark مباشرة من خلايا الكمبيوتر المحمول ، مما يدعم كليهما ٪livy.spark (سكالا) و ٪livy.pyspark (بايثون).
  • تصورات مدمجة:
    قم بإنشاء مخططات شريطية ومخططات خطية ومخططات دائرية وجداول والمزيد على الفور من نتائج SQL / Spark - دون الحاجة إلى ترميز إضافي.
  • تعاون الفريق:
    يمكن مشاركة دفاتر الملاحظات بين المستخدمين ، ويمكن دمج المرئيات في لوحات معلومات للعرض التقديمي.
  • التنفيذ الديناميكي لكل كتلة على حدة:
    تنفيذ الخلايا بشكل تدريجي وتصور النتائج في الوقت الفعلي.
  • التكامل مع خدمات Ilum:
    الوصول إلى مجموعات Spark والتخزين والنسب وخادم المحفوظات من Ilum عبر Ilum-Livy-Proxy.

Zeppelin في Ilum مقابل JupyterLab / JupyterHub ​

الجانب منطاد JupyterLab / JupyterHub
نموذج المستخدم دفاتر الملاحظات المشتركة (بدون عزل) متعدد المستخدمين (JupyterHub) ، مستخدم واحد (JupyterLab)
المصادقه لا مصادقة LDAP/SSO عبر Ilum
عزل مساحة العمل مشترك أو لكل دفتر ملاحظات لكل مستخدم (JupyterHub)، مشترك/فردي (JupyterLab)
تكامل Spark مترجمون Livy المضمنون سحر سباركماجيك ووكيل ليفي
التحكم في الإصدار يدوي ، تصدير Git (تكامل Gitea)
التصور المخططات / لوحات المعلومات المضمنة الحاجيات ، matplotlib ، plotly ، إلخ.
أفضل ل لوحات المعلومات والتحليلات المخصصة واستكشاف البيانات التفاعلية مسارات علوم البيانات والتعلم الآلي ومهام سير العمل القابلة للتكرار

الوصول والنشر ​

  • تمكين Zeppelin في Ilum:
    زيبلين هو غير ممكن افتراضيا . يمكنك تمكينه عبر Helm: 
    ترقية Helm \ 
    --set ilum-zeppelin.enabled=true \ 
    --إعادة استخدام القيم \ 
    ilum ilum / ilum

  • الوصول إلى واجهة مستخدم Zeppelin: بعد النشر ، قم بالوصول إلى Zeppelin عبر وحدات > Zeppelin

  • المصادقه: حاليا ، لا يوفر Zeppelin في Ilum أي مصادقة أو التحكم في الوصول. سيتمكن أي شخص يمكنه الوصول إلى واجهة مستخدم الويب Zeppelin (عبر المتصفح) من الوصول الكامل لإنشاء جميع دفاتر الملاحظات وتحريرها وتشغيلها وحذفها.

كيف يعمل Zeppelin في Ilum ​

  • هندسة المترجم الفوري: يستخدم Zeppelin مترجمين فوريين لكل لغة أو نظام (على سبيل المثال ، ٪livy.spark , ٪livy.pyspark , %livy.sql ). يتصل كل مترجم عبر Ilum-Livy-Proxy بمجموعات Spark، وتعيين كتل دفتر الملاحظات إلى وظائف Spark وخدمات التعليمات البرمجية.
  • إدارة الجلسة: لكل دفتر ملاحظات، يتم إنشاء جلسات Spark منفصلة ل ٪livy.spark (سكالا) ، ٪livy.pyspark (بايثون) ، و %livy.sql (SQL). تتم إدارة الجلسات تلقائيا ولكن يمكن تكوينها عبر إعدادات المترجم الفوري.
  • التكامل مع خدمات Ilum: تظهر وظائف Spark التي تم إطلاقها من Zeppelin في واجهة مستخدم Ilum (أحمال العمل). ترث هذه الجلسات جميع عمليات تكامل نظام المجموعة - Hive Metastore والنسب والوصول إلى التخزين والمراقبة.

أمثلة على مهام سير العمل ​

أمثلة ومهام سير العمل العملية بالنسبة إلى Zeppelin (بما في ذلك تشغيل Spark و SQL والتصورات ولوحات المعلومات وإدارة دورة حياة الجلسة) موصوفة في دليل مخصص:

رأى أمثلة على استخدام Zeppelin

أفضل الممارسات ​

  • اختيار المترجم الفوري: استخدم دائما المترجمين الفوريين المستندين إلى Livy ( ٪livy.spark , ٪livy.pyspark , %livy.sql ) لوظائف Spark في Ilum.
  • تصور البيانات: استفد من مخططات Zeppelin المدمجة للحصول على رؤية فورية ؛ قم بالتصدير كصور أو لوحات معلومات حسب الحاجة.
  • الوعي بالموارد: تستهلك الجلسات موارد Spark. أغلق دفاتر الملاحظات أو أوقف الجلسات عند عدم الحاجة.
  • الإصدار: استخدم تصدير دفتر الملاحظات للنسخ الاحتياطي أو الإصدار اليدوي، أو التكامل مع Git الخارجي إذا لزم الأمر.
  • التعاون: تذكر: لا يوجد تحكم في الوصول. تعامل مع جميع دفاتر ملاحظات Zeppelin على أنها مرئية / قابلة للتحرير من قبل أي شخص يمكنه الوصول إلى الخدمة.

استكشاف الاخطاء ​

  • لا يمكن الوصول إلى Zeppelin:

    • تحقق مما إذا كانت الوحدة ممكنة ونشرت بشكل صحيح.
    • تأكد من إمكانية الوصول إلى خدمة Zeppelin (تحقق من المنفذ الأمامي أو الدخول).

  • قضايا جلسة Spark:

    • إذا لم تبدأ المهام، فتأكد من تمكين Livy Proxy والوصول إليه.
    • مراجعة إعدادات المترجم الفوري أو السجلات في واجهة مستخدم Zeppelin.

  • مهلات:

    • اضبط مهلات الجلسة في تكوين المترجم الفوري للمهام طويلة الأمد.

  • مشكلات التصور:

    • جرب تبديل أنواع المخططات أو تصدير النتائج للتحليل دون اتصال.

المزيد من الموارد ​