Apache Spark Connect على Ilum: دليل التكوين والاتصال

If your environment allows DNS resolution of pod names (for example, your client is within the cluster or can resolve the cluster's internal DNS), you can connect using the pod's DNS name. Kubernetes assigns each pod a DNS name of the form <pod-name>. <namespace>.pod.cluster.local ( Kubernetes DNS ). This DNS name resolves to the pod's IP address inside the cluster.

الخطوات:

• Find the Pod Name: In the Ilum UI, locate the Spark Connect job you started. Note the driver pod name (Ilum may show it in the job details or logs). It will be something like وظيفة xxxxx-سائق (قد يختلف التنسيق الدقيق).
• Construct the URL: Use the pod's fully qualified DNS name. For example, if the pod name is وظيفة ABC123 سائق في المربع افتراضي مساحة الاسم، سيكون العنوان:

  sc://job-abc123-driver.default.pod.cluster.local:15002 
  
• Connect via Spark Client: Use this URL in your SparkSession builder or Spark shell. For example, in PySpark you can do:
  notebook.ipynb

  من بايسبارك . SQL استورد جلسة سبارك 
  
  شراره = جلسة سبارك . builder. بعيد ( 
      "sc://job-abc123-driver.default.pod.cluster.local:15002" 
  ) . getOrCreate ( ) 
  

This will create a Spark session that connects remotely to the Spark Connect server at the given DNS address. Ensure that your environment's DNS can resolve .pod.cluster.local (عادة ما يكون صحيحا فقط في حالة التشغيل داخل نظام المجموعة أو عبر VPN إلى شبكة نظام المجموعة).

If DNS resolution is not available, you can use the pod's IP address directly in the Spark Connect URL. This requires that your client environment can reach the pod IP (e.g., if you are on the same network or have appropriate routing to the cluster's pod network).

الخطوات:

• Get the Pod IP: Find the IP address of the Spark Connect pod. In Ilum UI, check the job details for an IP, or use the CLI: kubectl الحصول على pod <pod-name> -o واسع to see the pod's IP.
• Construct the URL: Use the IP in place of the host. For example, if the pod IP is 10.42.1.25 ، سيكون عنوان URL:

  sc://10.42.1.25:15002 
  
• Connect via Spark Client: Use the IP-based URL in your Spark client. For example:
  connect_by_ip.py

  شراره = جلسة سبارك . builder. بعيد ( "sc://10.42.1.25:15002") . getOrCreate ( ) 
  

سيحاول هذا الاتصال بالمنفذ 15002 على عنوان IP هذا.

تأكد من أن جهازك يمكنه الوصول بالفعل إلى عنوان IP الخاص بخادم Spark.

• إذا كان عميلك داخل نظام المجموعة (أو في نفس VPC/الشبكة)، يجب أن يكون عنوان IP للجراب قابلا للوصول.
• إذا كان عميلك خارج نظام المجموعة (e.g., your local laptop), the pod IP is likely not directly routable. In that case, this method will time out or refuse connection. You'd then need to use Method 3 or 4 instead.

If you are connecting from outside the cluster (for example, from your local development environment) and cannot reach the pod IP or DNS directly, a convenient approach is to use Kubernetes port forwarding. Port forwarding opens a tunnel from your local machine to the remote pod's port.

الخطوات:

1. Run Port-Forward: Open a terminal on your machine that has access to the Kubernetes cluster (where كوبيكتل تم تكوينه). ركض:
   Port Forward

   الميناء إلى <pod-name> الأمام 15002: 15002 
   
   استبدل <pod-name> with the Spark Connect pod's name (e.g., وظيفة ABC123 سائق ). This command will bind your local port 15002 to the pod's port 15002. You should see output like إعادة التوجيه من 127.0.0.1:15002 إلى > 15002 . استمر في تشغيل هذه العملية أثناء الحاجة إلى الاتصال بخادم Spark.

2. Connect to Localhost: With the port-forward in place, your local machine is now listening on port 15002. In your Spark client, connect to المضيف المحلي:15002 باستخدام عنوان URL ل Spark Connect:

   local_script.py

   شراره = جلسة سبارك . builder. بعيد ( "sc://localhost:15002") . getOrCreate ( ) 
   

   يستخدم Spark Connect المنفذ 15002 افتراضيا ( Quickstart: Spark Connect — PySpark 3.5 documentation)، لذلك يسمح بالاتصال عن بعد لإثارة المجموعات. sc://localhost:15002 سيصل عبر النفق إلى المجموعة. الآن يتم توصيل جلسة Spark الخاصة بك عن بعد بمثيل Spark لنظام المجموعة.

3. Use Spark as Usual: Once connected, you can use the شراره session as if it were local—all DataFrame operations will execute on the cluster.

غالبا ما تكون هذه الطريقة هي الأبسط للتنمية. عند الانتهاء ، يمكنك إيقاف إعادة توجيه المنفذ بالضغط على Ctrl + C في المحطة التي تقوم بتشغيل kubectl ميناء إلى الأمام أمر.

للحصول على حل أكثر ديمومة أو للسماح للعديد من المستخدمين/العملاء بالاتصال بسهولة، يمكنك عرض خادم Spark Connect عبر خدمة Kubernetes. توفر الخدمة نقطة نهاية شبكة مستقرة (اسم DNS وعنوان IP) لجراب Spark Connect، ويمكنها اختياريا عرضها خارج نظام المجموعة (على سبيل المثال، عبر LoadBalancer أو NodePort).

خطوات الكشف عن طريق الخدمة:

• Ensure Pod Label: If you haven't already labeled the Spark Connect pod (as suggested in step 5 of the setup above), do so now. You can add a label on the fly with kubectl:

  نوع جراب تسمية <pod-name> kubectl = sparkconnect 
  

  (إذا تم تسمية الجراب بالفعل عبر تكوين Spark، فلن تكون هناك حاجة إلى هذه الخطوة.)

• Create a Service: Define a Kubernetes Service YAML that targets this pod by its label.

  spark-connect-service.yaml

  apiVersion : الإصدار 1 
  نوع : خدمة 
  البيانات الوصفية : 
    اسم : شراره - connect- خدمة 
    Namespace : إيلوم # use the namespace where your Spark Connect pod is running
  المواصفات : 
    محدد : 
      نوع : سبارك كونيكت # this label should match the pod's label
    الموانئ : 
      -  اسم : سبارك كونيكت 
        بروتوكول : TCP 
        ميناء :  15002         # service port (clients will use this)
        targetPort :  15002   # target port on the pod
        nodePort :  30002    # node port (external users will use this nodeip:30002)
    نوع : NodePort # ClusterIP is only accessible within the cluster
    # للوصول الخارجي ، يمكنك استخدام النوع: NodePort أو LoadBalancer هنا. 
  

  kubectl apply -f spark-connect-service.yaml
  

  ستقوم هذه الخدمة بتوجيه حركة المرور إلى أي جراب باستخدام النوع: SparkConnect label on port 15002. You can verify with احصل على خدمة SVC Spark Connect .

1. Inside Cluster or VPN: Use the service's DNS name or cluster IP. For example, within the cluster (or on a VPN that can resolve cluster DNS), the URL would be: sc://spark-connect-service.default.svc.cluster.local:15002 أو sc://spark-connect-service:15002 ستتم إعادة توجيه جميع حركة المرور إلى هذا العنوان إلى جراب Spark Connect.

2. Outside Cluster (if exposed): If you set the Service type to NodePort or LoadBalancer, use the external address. For NodePort, that might be sc://<node-ip>:30002 . بالنسبة إلى LoadBalancer ، يمكن أن يكون sc://<load-balancer-host>:15002 اعتمادا على كيفية تعيين موفر خدمة السحابة الخاص بك. (هذه سيناريوهات متقدمة؛ غالبا ما تكون إعادة توجيه المنفذ أبسط للوصول الخارجي.)

Using a Service has the benefit of a stable name – you don't need to know the exact pod name or IP after it's set up. It also allows you to change the backing pod (e.g., restart the Spark Connect job) without changing how clients connect (as long as the new pod has the same label).