تخطي إلى المحتوى الرئيسي

JupyterLab في إيلوم

نظره عامه ​

JupyterLab هي بيئة التطوير التفاعلية المستندة إلى الويب من الجيل التالي لدفاتر الملاحظات والتعليمات البرمجية والبيانات.
داخل Ilum ، يعمل JupyterLab كواجهة مستخدم رئيسية لجميع مهام سير عمل دفتر الملاحظات التفاعلية - سواء تم إطلاقها في الوضع المستقل / المشترك (مع مساحة عمل مشتركة واحدة) أو يتم توفيرها تلقائيا كمساحة عمل خاصة بالداخل JupyterHub .

يوفر JupyterLab IDE مرنا وحديثا للعمل مع Python و R و Scala و SQL والمزيد. يتيح لك تحرير التعليمات البرمجية وتشغيلها وتصورها في دفاتر الملاحظات أو البرامج النصية أو المحطات الطرفية ، مع الوصول إلى مجموعات Spark وتخزين البيانات في Ilum.

دلائل الميزات ​

  • IDE للكمبيوتر المحمول الحديث
    اعمل في واجهة مستخدم قوية قائمة على الويب مع متصفح الملفات والتحرير المبوب والمحطات الطرفية ودعم السحب والإفلات.
  • دعم اللغة
    قم بتشغيل التعليمات البرمجية في Python و Scala و R و Bash و SQL والمزيد - باستخدام kernels أو الأوامر السحرية.
  • تحرير المستندات المتعددة
    قم بتحرير وتنفيذ دفاتر ملاحظات وبرامج نصية ومحطات طرفية متعددة جنبا إلى جنب.
  • تكامل Spark
    اتصال سلس بمجموعات Spark من Ilum عبر Sparkmagic و Livy Proxy - قم بتشغيل أحمال عمل البيانات الضخمة من أجهزة الكمبيوتر المحمولة باستخدام النسبة المئوية manage_spark , ٪٪شرارة والسحر ذات الصلة.
  • التحكم في إصدار Git
    • في JupyterLab المستقلة / المشتركة: مستودع Git واحد مشترك تدار من قبل حساب مسؤول Gitea.
    • في JupyterHub: مستودعات Git الفردية والخاصة لكل مستخدم تدار في جيتا.
  • التصور الغني
    دعم مدمج للمخططات والجداول و matplotlib و plotly والمكتبات الأخرى.
  • التمدد
    قم بتثبيت ملحقات JupyterLab الإضافية حسب الحاجة (إذا سمح المسؤول بذلك).

JupyterLab: مشترك مقابل JupyterHub (لكل مستخدم) ​

الجانب JupyterLab (مستقل/مشترك) JupyterLab في JupyterHub
نموذج المستخدم مستخدم واحد أو مشترك بين العديد متعدد المستخدمين ، منسق بواسطة JupyterHub
المصادقه لا شيء / محلي فقط أو تسجيل دخول بسيط LDAP/SSO (مدمج في Ilum)
عزل مساحة العمل محلي أو مشترك لجميع المستخدمين جراب Kubernetes معزول لكل مستخدم
إدارة الموارد خادم محلي أو نشر مشترك Central ، تديره JupyterHub على K8s
التحكم في الإصدار مستودع Git مشترك واحد (مسؤول Gitea) مستودع Git الخاص لكل مستخدم (مستخدم Gitea)
تكامل Spark تم تكوينه مسبقا ، عبر Livy Proxy و Sparkmagic تم تكوينه مسبقا ، عبر Livy Proxy و Sparkmagic
الوصول إلى البيانات مجلدات Ilum ، S3 ، تخزين المشروع مجلدات Ilum ، S3 ، تخزين المشروع
أمن الحد الادني على مستوى المؤسسة (RBAC ، الأسرار ، الوصول المستند إلى المجموعة)

نموذج التحكم في الإصدار:

  • في وحدة JupyterLab المستقلة / المشتركة ، يعمل جميع المستخدمين مع مستودع Git المشترك الفردي تدار من قبل حساب مسؤول Gitea.
  • في JupyterHub ، يحصل كل مستخدم على مستودع خاص فردي في Gitea ، تتم إدارتها تلقائيا لكل مستخدم.
  • للحصول على تجربة منسقة وآمنة ويتم التحكم فيها بواسطة الإصدار، نوصي باستخدام JupyterHub.

تسجيل الدخول والوصول ​

  • JupyterLab (مشترك):
    الوصول عبر وحدات > JupyterLab في واجهة مستخدم Ilum.
    يشترك المستخدمون في مساحة عمل مشتركة ومستودع Git واحد.
    قد تكون المصادقة بسيطة أو معطلة (تعتمد على النشر).

  • JupyterHub (موصى به):
    الوصول عبر وحدات > JupyterLab في واجهة مستخدم Ilum.
    سيتم توجيهك من خلال مصادقة Ilum SSO / LDAP (يتم التعامل معها بواسطة JupyterHub).
    سيتم فتح مساحة عمل JupyterLab الخاصة بك ، مع الملفات الثابتة والبيانات وتكامل Spark ومستودع Git الشخصي.

مساحة العمل الخاصة بك ​

في JupyterLab (نسخة مشتركة) ​

  • مساحة العمل المشتركة والمستودع:
    يشترك جميع المستخدمين في نفس مساحة الملف وملف مستودع Git واحد تدار من قبل حساب مسؤول Gitea.
    التغييرات التي يجريها أي مستخدم مرئية للجميع ويجب تنسيقها.

    ملاحظة حول مهام سير العمل متعددة المستخدمين:
    إذا كنت بحاجة إلى العمل مع عدة مستخدمين في مثيل JupyterLab مشترك (وضع مستقل أو غير JupyterHub) ، فيمكنك إنشاء مجلد منفصل لكل مستخدم داخل الملف الرئيسي عمل دليل. يمكن لكل مستخدم بعد ذلك العمل في مجلده الفرعي الخاص.

    ومع ذلك ، فإن هذا النهج غير موصى به ولا آمن.

    • لا توجد مصادقة أو عزل للمستخدم على مستوى JupyterLab في هذا الوضع.
      • يمكن لأي مستخدم الكتابة فوق الملفات التي تنتمي إلى مستخدم آخر أو حذفها أو تعديلها.
      • أنت تخاطر بفقدان عملك إذا قام مستخدم آخر بتحرير أو حذف الملفات الموجودة في مجلدك عن طريق الخطأ (أو عن قصد).

    تفضل دائما استخدام JupyterHub لبيئات الكمبيوتر المحمول الحقيقية متعددة المستخدمين والمعزولة والآمنة.

  • دفاتر المبتدئين والهيكل:
    معبأة مسبقا بأمثلة دفاتر الملاحظات وبيانات العينة وبنية الدليل للإلحاق السريع.

  • التخزين المدعوم من Git:
    يجب الالتزام بجميع التغييرات ودفعها إلى المستودع المشترك.
    استخدم الشريط الجانبي أو الطرف الطرفي Git ( git add / commit / push ).

في JupyterHub (إصدار لكل مستخدم) ​

  • مساحة العمل الخاصة والمستودع:
    يحصل كل مستخدم على مساحة عمل معزولة متصل ب مستودع Git الخاص في Gitea، تم إنشاؤه تلقائيا عند تسجيل الدخول لأول مرة.

  • دفاتر المبتدئين والهيكل:
    تتم تهيئة كل مستودع خاص باستخدام ملفات المبتدئين والقوالب والهيكل الموصى به للإلحاق.

  • التخزين المدعوم من Git:
    يمكن تنفيذ جميع التغييرات وإرسالها إلى مستودعك الشخصي ، المتاح لك فقط (وللمسؤولين اختياريا).

  • التخزين المستمر:
    يتم تخزين الملفات على وحدات تخزين نظام المجموعة، ولا يمكن الوصول إليها إلا من قبلك، وتتم مزامنتها مع مستودع Git الشخصي للنسخ الاحتياطي/تعيين الإصدارات.

العمل مع Spark ​

تم دمج JupyterLab في Ilum مسبقا مع Apache Spark عبر Sparkmagic وخدمة Ilum-Livy-Proxy.
سير العمل:

  1. استخدام النسبة المئوية manage_spark لتكوين جلسات Spark وبدء تشغيلها.
  2. استخدام ٪٪شرارة magic لتشغيل كتل التعليمات البرمجية Spark (Python/Scala/SQL) على نظام المجموعة، وليس محليا.
  3. عرض/إدارة مهام Spark الخاصة بك عبر وحدة أحمال عمل واجهة مستخدم Ilum.
  4. يتم عزل الجلسات لكل مستخدم، ويتم تعيينها إلى الأذونات ومساحة التخزين الخاصة بك.

للاستخدام الكامل لدفتر ملاحظات Spark، راجع دليل دفاتر Jupyter

استخدام Git في JupyterLab ​

  • امتداد Git:
    استخدم علامة التبويب Git في الشريط الجانبي JupyterLab لتنظيم التعليمات البرمجية/دفاتر الملاحظات والالتزام بها ودفعها.
  • الوصول إلى المحطة:
    يمكنك أيضا استخدام بوابه في المحطة الطرفية.
  • نموذج المستودع:
    يتم إجراء جميع التغييرات في مستودع مشترك تدار تحت حساب مسؤول Gitea.
  • وثائق التفويض:
    تمت المصادقة باستخدام بيانات الاعتماد التي تم تكوينها لمستودع المسؤول المشترك.
  • التعاون:
    يعمل جميع المستخدمين في نفس الريبو ، لذا قم بتنسيق الالتزامات لتجنب التعارضات. يمكنك أيضا تصدير دفاتر الملاحظات ك .ipynb أو PDF للمشاركة خارجيا.

أفضل الممارسات ​

  • ارتكب كثيرا:
    احفظ عملك بانتظام على Git لضمان تعيين الإصدار والنسخ الاحتياطي.
  • تنسيق التعديلات (الإصدار المشترك):
    إذا كنت تستخدم نشر JupyterLab المشترك، فقم بالتنسيق مع فريقك لتجنب التعارضات في الريبو المشترك.
  • الاستفادة من Sparkmagic:
    استخدم دائما سحر الشرارة لتشغيل الوظائف الموزعة ؛ لا تقم بتشغيل أحمال العمل الثقيلة على خادم دفتر الملاحظات نفسه.
  • إيقاف تشغيل النواة الخاملة:
    موارد مجانية عن طريق إيقاف النواة أو الجلسات غير المستخدمة.

المزيد من الموارد ​