تخطي إلى المحتوى الرئيسي

دفاتر في إيلوم

نظره عامه ​

يدعم Ilum بيئتين قويتين للكمبيوتر المحمول الجاهزة للمؤسسات: Jupyter (JupyterLab / JupyterHub) و منطاد .

تمكن كلتا البيئتين المستخدمين من إنشاء مستندات تفاعلية وقابلة للتنفيذ تجمع بين التعليمات البرمجية والنتائج والنص المنسق والتصورات الديناميكية - مما يجعلها أدوات أساسية لعلوم البيانات والتحليلات ومهام سير العمل الهندسية. تضمن Ilum دمج هذه البيئات بإحكام مع موارد نظام المجموعة و Spark وتخزين البيانات والتحكم في الإصدار.

بيئات دفتر الملاحظات المدعومة ​

JupyterLab ​

  • JupyterLab هو IDE حديث ومرن قائم على الويب لأجهزة الكمبيوتر المحمولة وتطبيقات البيانات.
  • يعمل في وضع المستخدم الفردي: مثالي للتجريب والنماذج الأولية ومشاريع البيانات الشخصية.
  • في Ilum، يتم توفير JupyterLab كواجهة مستخدم أساسية داخل مساحة عمل كل مستخدم JupyterHub.

JupyterHub ​

  • JupyterHub هو منسق المؤسسة متعدد المستخدمين لبيئات JupyterLab.
  • يدير المصادقة (LDAP/SSO) وعزل المستخدم والإنتاج وإدارة الموارد المركزية على Kubernetes.
  • يتلقى كل مستخدم مصادق عليه مساحة عمل JupyterLab خاصة ومستمرة مع تكامل Spark و Git مدمج.
  • JupyterHub اختياري في Ilum ويمكن تمكينه عبر Helm.

منطاد ​

  • منطاد هي بيئة دفتر ملاحظات متعددة اللغات تؤكد على تحليلات Spark والتصورات ولوحات المعلومات.
  • وهو يدعم مجموعة واسعة من المترجمين الفوريين ويوفر تصورا مرنا خارج الصندوق.
  • Zeppelin اختياري في Ilum ويمكن تمكينه عبر Helm.

الاختلافات الرئيسية وحالات الاستخدام النموذجية ​

الميزة / الجانب JupyterLab (مستقل) JupyterHub (متعدد المستخدمين) منطاد
نموذج المستخدم مستخدم واحد متعدد المستخدمين (مركزي) مستخدم واحد
المصادقه لا يوجد / محلي فقط LDAP / SSO عبر Ilum لا يوجد / محلي فقط
إدارة الموارد الخادم المحلي مركزي عبر Kubernetes الخادم المحلي
مساحه عمل بيئة المستخدم المحلي مساحة العمل المعزولة لكل مستخدم بيئة المستخدم المحلي
تكامل Spark البرنامج المساعد Sparkmagic البرنامج المساعد Sparkmagic ليفي مترجم فوري
التحكم في الإصدار اختياري مدمج مع Gitea (لكل مستودع للمستخدم) اختياري / غير متكامل
التعاون Git (المشاركة عبر الريبو) ، التصدير Git (المشاركة عبر الريبو) ، التصدير مشاركة دفاتر الملاحظات والتصدير
دعم اللغة بايثون ، R ، باش ، سكالا ، SQL بايثون ، R ، باش ، سكالا ، SQL Python و Scala و SQL و Bash وآخرون (مترجمون فوريون)
التصور أدوات Jupyter ، matplotlib ، إلخ. أدوات Jupyter ، matplotlib ، إلخ. تصورات مدمجة ولوحات معلومات
موصى به ل النماذج الأولية والتحليل المحلي سير عمل الفريق ، والبحث القابل للتكرار ، وتحليلات المؤسسة الآمنة النماذج الأولية والتحليل المحلي

دليل اختيار البيئة ​

حالة الاستخدام JupyterLab JupyterHub منطاد
النماذج الأولية / التجارب الشخصية ✓✓✓
عمليات نشر متعددة المستخدمين وآمنة للمؤسسات ✓
إدارة مركزية للموارد والمستخدمين ✓
التحكم المتكامل في إصدار Git ✓✓ (لكل مستخدم)
الاستكشاف المخصص ولوحات المعلومات ✓✓✓
مهام سير عمل علوم البيانات المتقدمة في Python / R ✓✓
إشعال مهام من أجهزة الكمبيوتر المحمولة (عبر Livy) ✓✓✓
التعاون عبر Git ✓✓(المشاركة اليدوية)

كيف تعمل بيئات دفتر الملاحظات في Ilum ​

  • JupyterHub يوفر بوابة مركزية وتسجيل دخول للمستخدمين. بعد مصادقة LDAP/SSO، يحصل كل مستخدم على بيئة JupyterLab شخصية على نظام المجموعة، مع تخزين معزول وتكامل Spark تم تكوينه مسبقا. جميع التعليمات البرمجية وأجهزة الكمبيوتر المحمولة والمخرجات خاصة بشكل افتراضي ، ولكن يمكن مشاركتها عبر Git (Gitea).
  • JupyterLab هي واجهة المستخدم التي يتفاعل معها كل مستخدم - كتابة التعليمات البرمجية وتشغيل الخلايا وتصور البيانات وإدارة الملفات ، كل ذلك من المستعرض.
  • منطاد يمكن تمكينه كبديل ، ودعم التحليلات متعددة اللغات ولوحات المعلومات التفاعلية السريعة. يستفيد Zeppelin من مترجمي Livy ل Spark ، ويدعم SQL والعديد من المترجمين الفوريين الآخرين.

للحصول على تحليل تقني للبنية والتدفق، راجع:

تكامل Ilum مع أجهزة الكمبيوتر المحمولة عبر Ilum Livy Proxy ​

للتواصل مع Spark ، تتطلب أجهزة الكمبيوتر المحمولة مكونات إضافية محددة.

في جوبيتر ، يتم تحقيق ذلك من خلال الأوامر السحرية - تعبيرات بناء جملة خاصة مثل ٪٪السحر أو ٪ السحر التي تغير سلوك كتلة التعليمات البرمجية. على سبيل المثال ٪٪شرارة تمكن سحر الشرارة ، مما يسمح للكتلة بتنفيذ كود Spark باستخدام السمة خدمة كود علم .

منطاد ، من ناحية أخرى ، لديه بنية مختلفة. يستخدم المترجمين الشفويين لمعالجة التعليمات البرمجية في كل كتلة، مع تصميم كل مترجم للغة أو خدمة معينة. بالنسبة إلى Spark ، يستخدم Zeppelin مخصصا مترجم سبارك .

إيلوم

ولكن كيف يربط Ilum بين سحر Jupyter's Spark ومترجمي Zeppelin لإدارة الوظائف وتنظيمها في مجموعات ذات مغزى؟ يفعل ذلك من خلال استخدام خادم Livy مع الوكيل فوقه.

تستفيد العديد من الخدمات ، بما في ذلك Jupyter مع Spark Magic و Zeppelin مع محرك Livy ، من Livy للتواصل مع Spark. Livy هو خادم يوفر واجهة برمجة تطبيقات REST للتفاعل مع Spark.

توفر Ilum تطبيقها الخاص ل Livy API المسمى إيلوم ليفي وكيل هذا يربط جلسات Spark بخدمات Ilum. على سبيل المثال، إذا قمت بإنشاء جلسة عمل Livy في Jupyter، فسترى خدمة تعليمات برمجية مقابلة ضمن حمل عمل Ilum الخاص بك.

إيلوم

للحصول على مهام سير عمل Spark التفصيلية واستخدام Spark الخاص بدفتر الملاحظات، راجع دليل دفاتر Jupyter .

نظرة عامة على النشر ​

  • JupyterLab :
    • يتم تمكين JupyterLab وتكوينه مسبقا بشكل افتراضي.
    • الوصول من وحدات > JupyterLab في واجهة مستخدم Ilum.
    • مثيل واحد فقط.
    • التحكم في الإصدار (Gitea) وتكامل Spark جاهزان للاستخدام.

  • JupyterHub

    • لم يتم تمكين JupyterHub (متعدد المستخدمين) وتكوينه مسبقا بشكل افتراضي (استخدم هذا دليل النشر).
    • الوصول من الوحدات النمطية > JupyterHub في واجهة مستخدم Ilum.
    • يتلقى كل مستخدم مثيل JupyterLab خاص.
    • التحكم في الإصدار (Gitea) وتكامل Spark جاهزان للاستخدام.

  • منطاد :

    • لم يتم تمكين Zeppelin وتكوينه مسبقا بشكل افتراضي (استخدم هذا دليل النشر).
    • الوصول من وحدات > Zeppelin في واجهة مستخدم Ilum.
    • مدمج مسبقا مع Livy Proxy و Spark.

ميزات الكمبيوتر المحمول في Ilum ​

توفر جميع بيئات الكمبيوتر المحمول المدعومة ما يلي:

  • الخلايا الإضافية القابلة للتنفيذ (بايثون ، سكالا ، SQL ، باش ، إلخ.)
  • تصور البيانات (الرسوم البيانية والجداول والأدوات ولوحات المعلومات)
  • التكامل مع مجموعات Spark
  • الوصول إلى مخازن وخدمات Ilum
  • التوثيق عبر Markdown / HTML
  • نسب البيانات وإدارة الجلسات
  • خيارات التعاون والمشاركة

الخطوات التالية ​