تخطي إلى المحتوى الرئيسي

Run Apache Spark Jobs via Ilum UI

Running an Apache Spark job on Kubernetes with Ilum operates just like one submitted via شرارة تقديم ، ولكن مع تحسينات إضافية لسهولة الاستخدام والتكوين والتكامل مع الأدوات الخارجية.

يمكنك استخدام ملف jar مع أمثلة شرارة من هذا رابط .

Interactive Spark Job Submission Guide​

الدليل في وضع ملء الشاشة

فيما يلي دليل تفصيلي لإعداد وظيفة Spark بسيطة باستخدام Ilum. سيرشدك هذا الدليل خلال تكوين وتنفيذ ومراقبة وظيفة أساسية تسمى MiniReadWriteTest داخل منصة Ilum.

Step-by-Step Tutorial: Running Your First Spark Job​

  1. انتقل إلى قسم الوظائف: تتيح لك هذه المنطقة إدارة جميع مهام معالجة البيانات الخاصة بك.

  2. إنشاء وظيفة جديدة:

    • Click on the ‘New Job +’ button to start the setup process.

  3. املأ تفاصيل الوظيفة:

    • علامة التبويب عام:

      • اسم: دخل MiniReadWriteTest
      • Job Type: Select Spark Job
      • فصل: دخل org.apache.spark.examples.MiniReadWriteTest
      • Language: Select سكالا

    • Configuration Tab:

      • Arguments:دخل /opt/spark/examples/src/main/resources/kv1.txt

      This path specifies a local file to be distributed to executors, a test file available in every Spark environment.

    • علامة تبويب الموارد:

      • Jars: Upload the JAR file from this رابط

    • Memory Tab:

      • Leave all settings at their default values for this example.

  4. إرسال ومراقبة الوظيفة:

    • أرسل الوظيفة.
    • انتقل إلى قسم السجلات لمراجعة السجلات من كل منفذ.
    • You should see log output showing the job execution, including:
      • Spark initialization messages (SparkContext: Running Spark version 3.5.7)
      • File reading and word count operations (Performing local word count from /opt/spark/examples/src/main/resources/kv1.txt)
      • Task execution across executors (Starting task 0.0 in stage 0.0)
      • Final success message (Success! Local Word Count 500 and D Word Count 500 agree.)

  5. مراجعة تنفيذ الوظيفة:

    • بمجرد بدء المهمة، تحقق من الحالة في قسم نظرة عامة على الوظيفة.
    • راقب استخدام الذاكرة ومقاييس الأداء الأخرى في قسم المنفذين.
    • راقب تقدم عملك خلال كل مرحلة على الجدول الزمني.

  6. الانتهاء والمراجعة:

    • عند الانتهاء ، يتم تسجيل تفاصيل المهمة ونتائجها في خادم محفوظات Spark.
    • قم بزيارة قسم خادم المحفوظات لرؤية مهمتك المكتملة ومراجعة مراحل التنفيذ التفصيلية.

  7. الخطوة الأخيرة:

    • مبروك! لقد قمت بإعداد وتشغيل وظيفة MiniReadWriteTest الخاصة بك بنجاح في Ilum. لمزيد من المعلومات أو الدعم ، اتصل ب [البريد الإلكتروني محمي] .

To submit jobs programmatically instead of using the UI, see the Run Spark Job via REST API guide.

Congratulations! You have successfully set up and run your MiniReadWriteTest job in Ilum. For further information or support, contact [البريد الإلكتروني محمي] .

باتباع هذه الخطوات ، ستتمكن من إعداد وظيفة Spark الأساسية وتشغيلها ومراقبتها بكفاءة داخل منصة Ilum ، واكتساب الإلمام بوظائفها وإعدادك لمهام معالجة البيانات الأكثر تعقيدا.

فيما يلي شرح موحد لكيفية تسهيل Ilum لعمليات تقديم وظائف Spark ، ومزج الميزات التقليدية ل شرارة تقديم مع قدرات الإدارة المتقدمة في Ilum:

تحميل مثال على الوظيفة ​

معلومات

يوفر Ilum مثالا على وظيفة لمساعدة المستخدمين الجدد على البدء بسرعة. مثال على تحميل المهام ممكن بشكل افتراضي. ومع ذلك ، يمكنك تعطيله باستخدام --set ilum-core.examples.job=false .

Why Ilum is a Better Alternative to spark-submit​

  • التوافق العالمي: يتيح Ilum تقديم أي وظيفة Spark ، على غرار استخدام شرارة تقديم . وهو يدعم لغات البرمجة المختلفة المستخدمة مع Spark ، بما في ذلك Scala و Python و R ، مما يلبي جميع عمليات Spark النموذجية مثل معالجة الدفعات أو مهام البث أو الاستعلامات التفاعلية.

  • تنفيذ الأوامر المبسط: بينما شرارة تقديم غالبا ما يتضمن مدخلات سطر أوامر معقدة لتبعيات المكتبة ومعلمات الوظيفة وتكوينات نظام المجموعة ، ويقوم Ilum بتلخصها في واجهة مستخدم سهلة الاستخدام. يقلل هذا النهج من مخاطر الخطأ ويبسط العمليات ، وهو مفيد بشكل خاص لأولئك الأقل دراية بتعقيدات سطر الأوامر.

  • نشر التعليمات البرمجية المباشرة: يمكن للمستخدمين تحميل ملفات JAR أو البرامج النصية Python أو دفاتر الملاحظات مباشرة إلى Ilum ، على غرار تحديد الموارد في شرارة تقديم أمر. يعزز Ilum ذلك من خلال السماح بتكوين هذه الموارد لعمليات التنفيذ المجدولة أو التي يتم تشغيلها بواسطة الأحداث، مما يوفر مرونة تشغيلية أكبر.

  • المعالجة الآلية للبيئة: على عكس الإعداد اليدوي المطلوب مع شرارة تقديم ، تضمن Ilum إدارة جميع التبعيات والتكوينات تلقائيا. يضمن ذلك أن بيئة التنفيذ جاهزة باستمرار لتنفيذ المهام، سواء على المجموعات المحلية أو السحابة أو الإعدادات المختلطة.

  • المراقبة والأدوات المتكاملة: يأتي Ilum مزودا بتكامل مدمج لأدوات المراقبة والتسجيل ، والتي في شرارة تقديم سيتطلب سير العمل إعدادا إضافيا. يوفر هذا التكامل للمستخدمين حلولا جاهزة للاستخدام لتتبع أداء الوظيفة وإدارة السجلات والاتصال بخدمات البيانات الأخرى بسلاسة.

تجربة تقديم وظيفة محسنة ​

لا يطابق Ilum قدرات شرارة تقديم ولكنها تمتد لها عن طريق تقليل النفقات العامة المرتبطة بتكوين الوظيفة والإعداد البيئي. إنه يوفر نظاما أساسيا شاملا يبسط نشر وظائف Spark وإدارتها وتوسيع نطاقها ، مما يجعلها حلا مثاليا للمؤسسات التي تهدف إلى تحسين سير عمل معالجة البيانات دون المساس بقوة ومرونة Apache Spark.

Job Configuration Reference​

Parameterوصف
اسم A unique identifier for the job. This name is used in the dashboard and logs to track the job's execution and history.
Job TypeThe category of the job to be created. Select Spark Job for standard batch processing or Spark Connect Job for client-server Spark applications.
عنقود The target cluster where the job will be executed. Choose a cluster that has the necessary resources and data access for your job.
فصل The fully qualified class name of the application (e.g., org.apache.spark.examples.SparkPi) or the filename for Python scripts. This tells Spark which code to execute as the entry point.
اللغة The programming language used for the job. Select سكالا أو بايثون to match your application code.
Max RetriesThe maximum number of times Ilum will attempt to restart the job if it fails. Setting this helps ensure job completion in case of transient errors.