تخطي إلى المحتوى الرئيسي

Run Spark Submit (spark-submit) on Kubernetes

تعمل وظيفة Spark البسيطة في Ilum تماما مثل تلك التي يتم تقديمها عبر المعيار شرارة تقديم ، ولكن مع تحسينات إضافية لسهولة الاستخدام والتكوين والتكامل مع الأدوات الخارجية.

يمكنك استخدام ملف JAR مع أمثلة Spark من تثبيت Spark المحلي أو أي JAR مخصص لديك.

يوجد أدناه دليل تفصيلي لإعداد وتشغيل وظيفة Spark بسيطة باستخدام شرارة تقديم on Ilum. This guide demonstrates the core configuration needed and shows how to monitor your job’s progress within the Ilum platform. For a complete overview of Ilum's architecture, check the Architecture Overview.

Quick Start (TL;DR)

How do I run a Spark job on Kubernetes with شرارة تقديم ?

To run a Spark job on Ilum (Kubernetes), ensure Java 17 and Spark 3.5.7 are installed, upload your JAR, and run:

Quick Start: Spark Submit on K8s
./bin/spark-submit \ 
--master k8s://http<ilum-core-address>://:<ilum-core-port> \ 
--نشر نظام المجموعة \ 
--class org.apache.spark.examples.SparkPi \ 
--conf spark.driver.memory = 4g \ 
--conf spark.ilum.cluster=افتراضي \ 
  --conf spark.kubernetes.container.image=ilum/spark:3.5.7 \
--conf spark.kubernetes.submission.waitAppCompletion=true \ 
  s3a://ilum-files/spark-examples_2.12-3.5.7.jar

Note: Replace <ilum-core-address> with your actual Ilum Core endpoint.

Step-by-Step Guide​

1. Prerequisites​

  • تأكد من تثبيت Java 17 وتعيينه بشكل صحيح في JAVA_HOME .
  • التنزيل والاستخراج Apache Spark 3.5.7(أو نسخة مكافئة):
Download Spark
wget https://dlcdn.apache.org/spark/spark-3.5.7/spark-3.5.7-bin-hadoop3.tgz
tar -xzf spark-3.5.7-bin-hadoop3.tgz
cd spark-3.5.7-bin-hadoop3

2. Connect to Ilum​

If Ilum is deployed on Kubernetes, forward the service port to your local machine to make Ilum accessible at المضيف المحلي:9888 .

Forward Core
المنفذ إلى الأمام SVC / ILUM الأساسي 9888: 9888
Production Tip

إذا كنت تتواصل من داخل نفس مجموعة Kubernetes، فيمكنك استخدام عناوين الخدمة المستندة إلى Kubernetes DNS (على سبيل المثال، http://ilum-core.namespace.svc.cluster.local ) or expose services using Ingress.

3. Submit Your Spark Job​

Choose the submission method that best fits your workflow:

This method is suitable for quick local testing.

1. Upload your JAR File

For demonstration, we assume the JAR is uploaded manually to MinIO.

  • Locate the example JAR: examples/jars/spark-examples_2.12-3.5.7.jar

  • Upload it to MinIO (bucket ملفات ILUM ). Example path: s3a://ilum-files/spark-examples_2.12-3.5.7.jar

    2. Submit via REST

    Limitation

    spark.ilum.pyالمتطلبات is not supported in this mode, as REST does not support PySpark submissions.

    Run the following command:

    REST Submit
    ./bin/spark-submit \ 
    - سيد spark://localhost:9888 \ 
    --نشر نظام المجموعة \ 
    --class org.apache.spark.examples.SparkPi \ 
    --conf spark.master.rest.enabled=true \ 
    --conf spark.ilum.cluster=افتراضي \ 
      --conf spark.app.name=my-spark-job \
      s3a://ilum-files/spark-examples_2.12-3.5.7.jar

    Parameters:

Parameterوصف
--أحسن Ilum Core address via REST (e.g. spark://localhost:9888).
--conf spark.master.rest.enabled=true Enables REST submission.
s3a://... JAR file path in MinIO.
Expected Output
تشغيل Spark باستخدام بروتوكول إرسال تطبيق REST. 
25/03/12 12:58:01 INFO RestSubmissionClient: تقديم طلب لإطلاق طلب في spark://localhost:9888. 
25/03/12 12:58:03 INFO RestSubmissionClient: تم إنشاء الإرسال بنجاح ك 20250312-1158-qdnioef2rny. حالة تقديم الاقتراع ... 
25/03/12 12:58:03 INFO RestSubmissionClient: تقديم طلب لحالة التقديم 20250312-1158-qdnioef2rny في spark://localhost:9888. 
25/03/12 12:58:03 INFO RestSubmissionClient: تم الآن إرسال حالة برنامج التشغيل 20250312-1158-qdnioef2rny. 
25/03/12 12:58:03 INFO RestSubmissionClient: يتم تشغيل برنامج التشغيل على عامل ILUM في ILUM_UI_ADDRESS/workloads/details/job/20250312-1158-qdnioef2rny. 
25/03/12 12:58:03 INFO RestSubmissionClient: استجاب الخادم باستخدام CreateSubmissionResponse: 
{ 
"action" : "CreateSubmissionResponse", 
  "serverSparkVersion" : "3.5.7",
"معرف التقديم": "20250312-1158-qdnioef2rny", 
"النجاح" : صحيح 
} 
25/03/12 12:58:03 معلومات ShutdownHookManager: خطاف إيقاف التشغيل يسمى 
25/03/12 12:58:03 معلومات إيقاف التشغيلHookManager: حذف الدليل /tmp/spark-fa2603be-488a-4e2a-9b7f-5e49825d379b

4. Monitor and Troubleshoot​

Using the Ilum UI:

  • مراقبة التقدم الوظيفي: Track executors, memory usage, and job stages.
  • Review Results: Access logs and the integrated Spark History Server.
  • Troubleshoot: Diagnose failures by checking detailed executor logs.

For more details on monitoring metrics, see the Monitoring Guide.

Comparison: Classic spark-submit vs Ilum Approach​

Running Spark directly on Kubernetes requires significant administrative effort. Ilum simplifies this by automating infrastructure management.

Traditional Approach (Native Spark on K8s) vs Ilum​

ميزة Native Spark on K8sIlum (Managed Spark)
SetupManual Docker image build & complex شرارة تقديم args.Automated. Use existing JARs; Ilum handles images.
التكوين Verbose (Service Accounts, Volumes, Secrets).Simplified. Minimal args; configs are injected automatically.
خزن Manual Hadoop/S3 configuration per job.Integrated. Automatic credential injection for S3/GCS/Azure.
رصد CLI-based (kubectl logs), ephemeral.Centralized UI. Persistent logs, metrics, and history.
قابلية الملاحظة Basic Spark UI (if exposed).متقدم . نسب البيانات , detailed resource metrics.

Key Benefits of Ilum:

  1. Automatic Image Selection: Ilum selects a compatible Spark Docker image matching the cluster version.
  2. Advanced Observability: Ilum provides deep lineage observability and advanced monitoring capabilities.
  3. Simplified Configuration: Reduce شرارة تقديم parameters by 3x-4x.
  4. Integrated Storage Access: Credentials for all configured storages are automatically injected.
  5. Instant Monitoring: Logs and metrics (CPU/RAM) appear in the Ilum UI immediately.

For a developer, this means less time fighting with infrastructure and error-prone configurations, and more time delivering business logic.

For advanced customization, refer to the official Spark documentation.