دليل تكامل Apache Spark و n8n

ال وحدة N8N in Ilum brings powerful, low-code workflow automation to your data lakehouse environment. Design visual ETL pipelines, orchestrate complex Apache Spark jobs, and integrate data processes with third-party business apps—all through a clean drag-and-drop editor fully embedded in the Ilum platform.

🚀 ما هو n8n؟ ​

ن8ن is a leading workflow automation tool that lets you connect APIs, databases, and services with a simple visual interface. Ilum integrates n8n as a native module, transforming it into a robust Data Orchestration tool. With Ilum, it treats أباتشي سبارك as a first-class citizen, allowing you to trigger heavy-lifting data tasks alongside operational logic.

باستخدام محرر سير العمل المرئي من n8n ، يمكنك بسهولة تصميم واختبار ونشر تسلسلات الأتمتة التي تتضمن استيعاب البيانات وتحويلها وتحليلها وتشغيل الإجراءات ، مما يؤدي إلى تسريع التطوير وتقليل الجهد اليدوي.

الفوائد الرئيسية ​

• بناء سير العمل المرئي: تصميم الأتمتة المعقدة باستخدام واجهة السحب والإفلات.
• اتصال شامل: ربط خدمات Ilum بمئات التطبيقات الخارجية وواجهات برمجة التطبيقات.
• كود منخفض / بدون رمز: قم ببناء مهام سير عمل قوية مع الحد الأدنى من الترميز المطلوب ، وإضفاء الطابع الديمقراطي على الأتمتة.
• تكامل Ilum العميق: استفد من مكونات Ilum المحددة مباشرة داخل مهام سير العمل الخاصة بك باستخدام العقد المخصصة (إصدار المؤسسة).
• تشغيل مرن: Start workflows based on schedules (cron), webhooks, manual triggers, or events from cloud storage (S3/GCS).

كيفية التثبيت ​

معلمة إضافية واحدة فقط أثناء التثبيت / الترقية --set ilum-n8n.enabled=true

Helm تثبيت ILUM ILUM / ILUM - Set ilum-N8N.enabled = true

ن8ن : 
  رئيسي : 
    extraEnvVars : 
      N8N_SECURE_COOKIE :  "خطأ" 

عقد Ilum المخصصة (إصدار المؤسسة) ​

يتضمن إصدار Enterprise من Ilum العديد من عقد n8n المخصصة المصممة للتكامل العميق مع إمكانات منصة بحيرة البيانات. توفر هذه العقد وصولا مباشرا إلى وظائف Ilum الأساسية:

1. سبارك إس كي ال بي ​

• وصف: ينفذ استعلامات Apache Spark SQL المخصصة مباشرة مقابل بياناتك داخل Ilum Data Lakehouse. يمكنك استرداد البيانات وتصفيتها وتجميعها وتحويلها باستخدام قوة Spark SQL دون مغادرة سير العمل.
• استخدام: مثالي لاستخراج البيانات والتحليل السريع وإعداد البيانات للخطوات اللاحقة في سير العمل.
• Best For: Ad-hoc analysis, data quality checks, and passing small datasets to other apps.
• أداة وكيل الذكاء الاصطناعي: يمكن أيضا تكوينه كأداة لعقدة عامل الذكاء الاصطناعي، مما يسمح لنماذج الذكاء الاصطناعي بالاستعلام عن البيانات ديناميكيا استنادا إلى تعليمات اللغة الطبيعية أو المنطق.

2. سبارك للخدمات المصغرة ​

• وصف: يستدعي خدمات Apache Spark المصغرة المخصصة المنشورة داخل طبقة خدمة Ilum. تقوم هذه الخدمات المصغرة بتغليف كود Spark أو PySpark القياسي (على سبيل المثال، التحويلات المعقدة، واستدلال نموذج التعلم الآلي، ومنطق معالجة البيانات المخصصة) وعرضها عبر واجهة برمجة تطبيقات REST. إنه مشابه جدا لاتصال الشرارة.
• استخدام: يسمح لك بتشغيل منطق Spark المعقد عند الطلب وتلقي النتائج مباشرة في سير عمل n8n الخاص بك عبر استدعاء واجهة برمجة التطبيقات. مثالي لتطبيقات Spark المخصصة داخل خطوط الأنابيب الآلية.
• Best For: Real-time inference, event-driven processing, and reusable data transformations.

3. SparkActions (أداة وكيل الذكاء الاصطناعي) ​

• وصف: تعمل هذه العقدة كأداة لعامل الذكاء الاصطناعي. إنه يمكن عامل الذكاء الاصطناعي من إنشاء وتنفيذ مقتطفات تعليمات البرمجية المخصصة ل Apache Spark ديناميكيا بناء على السياق أو التعليمات التي يتلقاها.
• استخدام: تمكين السيناريوهات المتقدمة حيث يحتاج وكيل الذكاء الاصطناعي إلى إجراء معالجات أو حسابات مخصصة للبيانات أثناء التنقل داخل بيئة Spark.
• Best For: Generative AI use cases, dynamic code generation, and complex, unstructured data tasks.

4. Ilum (أداة وكيل الذكاء الاصطناعي) ​

• وصف: يعمل كأداة متعددة الاستخدامات لعامل الذكاء الاصطناعي ، مما يوفر الوصول إلى مجموعة واسعة من معلومات ووظائف منصة Ilum عبر واجهة برمجة تطبيقات REST الداخلية الخاصة به.
• استخدام: يسمح لعامل الذكاء الاصطناعي بما يلي:
• الاستعلام عن كتالوج بيانات Ilum (على سبيل المثال ، البحث عن مجموعات البيانات ، وعرض المخططات).
• استرداد إحصائيات الجدول ومقاييس جودة البيانات.
• الوصول إلى البيانات الوصفية والمعلومات التشغيلية الأخرى للمنصة.
• بشكل أساسي ، تفاعل مع الكثير من المعلومات المرئية داخل واجهة مستخدم Ilum أو المتاحة عبر واجهة برمجة التطبيقات الخاصة بها.
• Best For: Metadata management, catalog exploration, and platform monitoring via AI.

5. سبارك باتش ​

• وصف: يقوم بتشغيل مهام دفعة Apache Spark القياسية التي تم تكوينها داخل النظام الأساسي Ilum.
• استخدام: استخدم هذه العقدة لبدء عمليات Spark المجمعة المحددة مسبقا والتي يحتمل أن تكون طويلة الأمد كجزء من سير العمل التلقائي (على سبيل المثال، ETL واسع النطاق، تدريب النموذج).
• Best For: Heavy ETL, nightly reporting jobs, and long-running model training.

📦 الترخيص والاستخدام ​

⚠️ يجب على المستخدمين اتباع نموذج ترخيص n8n.
العملاء الذين لديهم نشاط ترخيص شركة إيلوم للمشاريع قد يتلقى أيضا ترخيص مؤسسة n8n كجزء من اشتراكهم ، فتح ميزات مثل التحكم المتقدم في الوصول ، والإعدامات غير المحدودة ، والدعم المتميز.

تعرف على المزيد حول ترخيص n8n هنا: n8n.io/pricing

🧪 جربه ​

انتقل إلى وحدات > n8n قسم في إيلوم إلى:

• بدء سير عمل جديد
• استخدم عقد Ilum للاتصال ب Spark وMinIO وSQL والمزيد
• تشغيل المسارات بناء على الوقت أو الأحداث أو الظروف
• الإنشاء والتكرار في بيئة مرئية بالكامل

Real-World Use Cases​

Ilum’s n8n integration bridges the gap between data engineeringو business operations. Here are common ways to leverage this integration:

1. Automated ETL Pipelines​

Replace rigid scripts with visual flows.

• Trigger: Scheduled daily at 2:00 AM.
• Action: n8n pulls raw data from CRM APIs (Salesforce, HubSpot) and loads it into object storage.
• Process:ال SparkBatch node triggers a heavy Spark job to clean, merge, and transform this data into your Lakehouse format (Delta/Iceberg/Hudi).
• Result: Analytics-ready data is available by start of business.

2. Event-Driven Data Processing​

React to data instantly instead of waiting for batches.

• Trigger: A file is uploaded to an S3 bucket (webhook event).
• Process: n8n receives the event and passes the file path to a Spark Microservice node.
• Action: The microservice runs a specific PySpark inference script to classify the document content.
• Result: The classification is tagged in the database, and a Slack notification is sent to the relevant team.

3. AI-Powered Data Analysis​

Empower non-technical users to query data.

• Trigger: A user asks a question in a chat interface (e.g., Slack/Teams).
• Process:ال Ilum AI Agent (using the SparkSQL tool) parses the natural language query into SQL.
• Action: The query runs against the Data Lakehouse, returning aggregated metrics.
• Result: The user receives a summarized answer and a chart image directly in the chat.

n8n as a Data Orchestrator​

While tools like Apache Airflow are built for pure code-based orchestration, ن8ن offers a compelling alternative for hybrid workflows:

Using n8n allows data engineers to build the core processing logic in Spark, while allowing operations teams to manage the triggers, alerts, and downstream actions visually.

💬 هل تحتاج إلى مساعدة؟ ​

لسير العمل المتقدم أو حالات الاستخدام المخصصة، اتصل بفريق Ilum. يسعدنا مساعدتك في تصميم مسارات أتمتة البيانات وتحسينها وتوسيع نطاقها.