ملاحظات الترقية

ملاحظات الترقية ​

نموذج الملاحظة ​

1. التغيير ​

ميزة: ​

وصف الميزة

القيم المحذوفة - اسم الرسم البياني ​

القيم المضافة - اسم الرسم البياني ​

وصف قسم القيم ​

الأسماء التي تم تغييرها - اسم الرسم البياني ​

⚠️⚠️⚠️ التحذيرات ​

القيم التي تم تغييرها - اسم الرسم البياني ​

الإصدار التالي ​

RELEASE 6.6.1​

1. Ugraded JupyterHub experience​

ميزة: ​

Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins fullnameOverride , and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.

Values added - helm_aio​

Values added - helm_jupyterhub​

SSH configuration​

Git configuration​

LDAP configuration​

Hub configuration​

Singleuser runtime defaults​

Image pull credentials​

Values changed - helm_jupyterhub​

Instructions​

• Keep ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
• Ensure ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
• To refresh the curated notebooks, update helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.

⚠️⚠️⚠️ التحذيرات ​

• Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.

• Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.

2. Upgraded Livy compatible API to version 0.8.0​

ميزة: ​

Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.

القيم المضافة - ilum-core ​

Livy Compression Configuration​

Livy Server Configuration​

Livy TTL Session Cleanup Configuration​

القيم المضافة - ilum-aio ​

Same values as إيلوم كور but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. All new configuration options have safe defaults and are backward compatible.

Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.

إدارة الجلسة: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.

3. Updated default Spark version and added autopause configuration​

ميزة: ​

Updated default Spark version to 3.5.7-deltaفي kubernetes.defaultCluster.config . Added spark.ilum.autopause: "true"ل kubernetes.defaultCluster.config to set the default behavior of the autopause feature.

القيم التي تغيرت - ilum-core ​

القيم المضافة - ilum-core ​

1. HTTP cookie-based access control now disabled by default​

ميزة: ​

Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).

What Changed?​

• External services are now open by default - no cookie requirements
• All users can access services without any special configuration
• System works out-of-the-box

What This Means for You​

• ✅ Your services will become more accessible
• ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
• ✅ No action required for most deployments

If you need to restrict access:

• Use the built-in OAuth2/Hydra authentication (recommended for production)
• Or manually enable cookie-based access control per service (see below)

When to Use Cookie-Based Access Control?​

This is an advanced feature for specific use cases:

• ✅ Temporary access restrictions for specific users/sessions
• ✅ Custom access control integrated with your frontend application

To enable for a specific service:

nginx: 
  التكوين : 
    http_cookie: 
      تمكين :  صحيح 
      ilum-jupyter: 
        تمكين :  صحيح 

Values changed - ilum-ui​

Values changed - ilum-aio​

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. This change makes services more accessible.

If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.

RELEASE 6.6.0​

1. Upgraded Apache Airflow to 3.1.1​

ميزة: ​

Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.

Values changed - ilum-aio​

القيم المضافة - ilum-aio ​

Init Container Volume Mount Configuration​

-  اسم :  create- المشرف - مستخدم 
  صورة :  ilum/airflow: 3.1.1
  command:  [ "/bin/bash",  "/scripts/init.sh"] 
  volumeMounts : 
    -  اسم : إيلوم - airflow- create- مستخدم - سر 
      mountPath :  /scripts
    -  اسم : التكوين 
      mountPath :  /opt/airflow/airflow.cfg
      المسار الفرعي :  airflow.cfg
    -  اسم : أوث - سر - volume
      mountPath :  /opt/airflow/client- سر 
      readOnly:  صحيح 
    -  اسم :  webserver- التكوين - volume
      mountPath :  /opt/airflow/webserver_config.py
      المسار الفرعي :  webserver_config.py
      readOnly:  صحيح 

⚠️⚠️⚠️ التحذيرات ​

Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config. But the name of this configMap must follow pattern <release-name>-api-server-config to be properly mounted as it is Airflow's chart requirement. So if your release name is different from إيلوم , please change this value accordingly. For example use:

airflow: 
  apiServer: 
    apiServerConfigConfigMapName: < الخاص بك - release- اسم > - واجهة برمجة التطبيقات - ملقم - التكوين 
    extraVolumes: 
      -  اسم : أوث - سر - volume
        سر : 
          اسم سري : إيلوم - هيدرا - عميل - سر 
      -  اسم : إيلوم - airflow- create- مستخدم - سر 
        سر : 
          اسم سري : إيلوم - airflow- create- مستخدم - سر 
      -  اسم :  webserver- التكوين - volume
        configMap : 
          اسم : < الخاص بك - release- اسم > - واجهة برمجة التطبيقات - ملقم - التكوين 

2. Enhanced Jupyter startup configuration​

ميزة: ​

Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.

القيم المضافة - ilum-jupyter ​

Startup and environment configuration​

⚠️⚠️⚠️ التحذيرات ​

• All startup arguments configured via startupArgs.* can be completely overridden by setting the أرجس parameter in values.yaml. When أرجس is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
• ال extraEnv parameter accepts a string template (multiline YAML using | ). Example usage:

  extraEnv:  | 
    - name: MY_VAR
      value: value
  

3. Added Apache NiFi module​

ميزة: ​

Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.

القيم المضافة - ilum-aio ​

القيم المضافة - ilum-ui ​

4. Added integration with Project Nessie metastore​

ميزة: ​

Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.

القيم المضافة - ilum-core ​

القيم المضافة - ilum-aio ​

الأسماء المتغيرة - ilum-core ​

القيم التي تغيرت - ilum-core ​

⚠️⚠️⚠️ التحذيرات ​

This is an important change that will need to be addressed if any custom changes to the default configuration were made. Please carefully review the changes and make sure they will not break your deployment.

5. Livy API now fully served by ilum-core (embedded)​

ميزة: ​

Livy API is implemented and served directly by إيلوم كور (embedded). The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.

القيم المضافة - ilum-aio ​

⚠️⚠️⚠️ التحذيرات ​

• ال compat Service( ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
• ال legacy proxy is also deprecated and will be removed after the transition period.
• Mode matrix (AIO):
  • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call إيلوم كور directly.
  • ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new إيلوم كور Livy API.
  • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
• When legacy is enabled, update client endpoints to use the legacy Service:
  • ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
  • ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
  • Airflow connection: AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
• Some resources (e.g., ConfigMap/Ingress) are rendered based on ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled ).

6. Added cronjob cleaning after uninstalling​

ميزة: ​

A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.

القيم المضافة - ilum-core ​

RELEASE 6.5.2​

1. SSH mode implementation for helm_jupyter​

ميزة: ​

SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.

Values added - helm_jupyter​

SSH access configuration​

⚠️⚠️⚠️ التحذيرات ​

• SSH server runs directly in the main Jupyter container on port 2222 internally
• SSH keys must be provided via a Kubernetes Secret referenced by ssh.keysSecret parameter
• The secret should contain both SSH host keys and authorized_keys for authentication
• SSH access provides direct access to the /home/jovyan/work directory (same as web interface)
• Custom SSH server configuration can be provided via ssh.sshdConfig.customConfig array

2. Address Bitnami’s move to bitnamilegacy+ bitnamisecure​

ميزة: ​

Bitnami has moved to bitnamilegacy+ bitnamisecure for their images after the 18th of August 2025. This change moves used images to the new repositories.

القيم المضافة - ilum-aio ​

Values changed - ilum-aio​

القيم التي تغيرت - ilum-core ​

Values changed - ilum-hive-metastore​

Values changed - ilum-jupyter​

Values changed - ilum-marquez​

1. Updated Airflow defaults in ilum-aio​

ميزة: ​

Bumped Airflow to 3.0.5 and streamlined default connection/env configuration. Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.

القيم المضافة - ilum-aio ​

Values changed - ilum-aio​

Values deleted - ilum-aio​

⚠️⚠️⚠️ التحذيرات ​

As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default. To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.

3. Added configurable HTTP cookie mappings in ilum-ui​

ميزة: ​

Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.

القيم المضافة - ilum-ui ​

HTTP cookie mapping configuration​

4. PostgreSQL Max Connections Configuration​

ميزة: ​

Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.

القيم المضافة - ilum-aio ​

PostgreSQL configuration​

RELEASE 6.4.3​

1. Added Mage to ilum-aio​

ميزة: ​

Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.

القيم المضافة - ilum-aio ​

2. Updated Airflow’s chart and values to support Airflow 3.0​

ميزة: ​

Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.

القيم المضافة - ilum-aio ​

Values changed - ilum-aio​

Values deleted - ilum-aio​

Values changed - ilum-ui​

⚠️⚠️⚠️ التحذيرات ​

Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment. Please review the new values and adjust your configuration accordingly.

If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration, as Helm is likely to not be able to automatically migrate the values.

3. Added securityContext configuration for ilum charts​

ميزة: ​

Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.

القيم المضافة - ilum-core ​

القيم المضافة - ilum-ui ​

القيم المضافة - ilum-jupyter ​

القيم المضافة - ilum-livy-proxy ​

القيم المضافة - ilum-aio ​

Added securityContext configuration for postgresExtensions​

RELEASE 6.4.2​

1. changed openldap chart provider to jp-gouin's​

ميزة: ​

Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS. Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.

القيم التي تغيرت - ilum-core ​

القيم المضافة - ilum-aio ​

Added new values for openldap configuration​

Values changed - ilum-aio​

Values deleted - ilum-aio​

RELEASE 6.4.1​

1. Adapt hydra to https​

القيم المضافة - ilum-aio ​

Values deleted - ilum-aio​

القيم المضافة - ilum-core ​

2. Added openldap to helm chart and ilum-to-ldap synchronization​

القيم المضافة - ilum-aio ​

Added openldap configuration values​

القيم المضافة - ilum-core ​

Added configurations for synchronization of ldap with ilum​

القيم التي تغيرت - ilum-core ​

3. Restricted RBAC Mode for ilum-core service​

ميزة: ​

Introduced a new rbac.restricted.enabled flag in the إيلوم كور chart. When set to صحيح , this option applies a more restrictive set of RBAC permissions for the service account. This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.

القيم المضافة - ilum-core ​

Added a flag to enable a more restrictive RBAC configuration.​

4. Added تمكين flag to Trino in ilum-sql​

ميزة: ​

مضاف تمكين flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it. This also will help ilum-ui with the configuration of Trino.

Values added - ilum-sql​

⚠️⚠️⚠️ التحذيرات ​

Trino was enabled by default, so if you wish to enable it after the version upgrade, you need to set ilum-sql.config.trino.enabledل صحيح في قيم الدفة الخاصة بك.

RELEASE 6.4.0​

1. Addition of OAuth Provider and its integration with Services​

ميزة: ​

Added Hydra deployment to helm chart and fields to configure it

القيم المضافة - ilum-core ​

القيم المضافة - ilum-ui ​

ميزة ​

Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum

القيم المضافة - ilum-core ​

ميزة ​

Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra

Values added - minio​

| minio.extraEnvVars | | |

ميزة ​

Integrated airflow with Hydra OIDC in values.yaml

Values added - airflow​

ميزة ​

Integrated grafana with Hydra OIDC in values.yaml

Values added - grafana​

ميزة ​

Integrated superset with Hydra OIDC in values.yaml

Values added - superset​

2. Addition of examples for ilum-core and superset​

ميزة: ​

Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.

القيم المضافة - ilum-core ​

القيم المضافة - ilum-aio ​

3. Internal users upgrade credentials flag​

القيم المضافة - ilum-core ​

4. Tighter integration of Marquez with Ilum​

ميزة: ​

Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore. This way, having a customized Marquez build is not necessary anymore.

القيم التي تغيرت - ilum-core ​

5. Changed superset load example variable name​

Values deleted - ilum-aio​

القيم المضافة - ilum-aio ​

RELEASE 6.3.2​

1. Addition of frequently used values to ilum-sql​

ميزة: ​

Added frequently used values to ilum-sql chart, so that their configuration is easier.

Values added - ilum-sql​

Values changed - ilum-aio​

⚠️⚠️⚠️ التحذيرات ​

Because these values were already present in the ilum-aio chart, the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.

2. Support of Trino in ilum-sql​

ميزة: ​

Introduced support for Trino as an SQL engine in ilum-sql chart.

القيم المضافة - ilum-aio ​

Values added - ilum-sql​

3. Enhanced Oauth2​

ميزة ​

Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core. Added ability to assign Admin role to oauth2 users.

القيم المضافة - ilum-core ​

4. Addition of kubernetes s3 region to ilum-core and ilum-aio​

ميزة: ​

Added the ability to set the S3 region in ilum-core.

القيم المضافة - ilum-core ​

القيم المضافة - ilum-aio ​

5. Protocol in superset​

ميزة: ​

Added the ability to set the protocol in superset.

Values added - superset​

6. Addition of hive metastore status probe to ilum-core helm chart​

ميزة: ​

Added possibility to enable status probe for hive metastore.

القيم المضافة - ilum-core ​

الإصدار 6.3.1 ​

1. تمت إضافة دلاء إضافية لتكوين التخزين ​

ميزة ​

تمت إضافة القدرة على تضمين حاويات إضافية لتكوين تخزين شرارة نظام مجموعة ilum.

القيم المضافة - ilum-core ​

2. LDAP المحسن ​

تمت إضافة القدرة على تعيين المستخدمين والمجموعات والأدوار - جنبا إلى جنب مع خصائصهم وعلاقاتهم - من خادم LDAP إلى Ilum Core استنادا إلى تكوينات التعيين في Helm. تم تفعيل خيار تعيين دور المشرف لمستخدمي LDAP.

القيم المضافة - ilum-core ​

القيم المحذوفة - ilum-core ​

الأسماء المتغيرة - ilum-core ​

3. التكوين الافتراضي SparkMagic ​

تم تغيير القيم - تتغير معلمات تكوين ilum-jupyter بسبب إدخال نموذج جلسة spark. ​

القيم المحذوفة - ilum-jupyter ​

القيم المحذوفة - ilum-jupyter ​

الإصدار 6.3.0 ​

1. تم تغيير إصدار علامة الصورة من kyuubi ​

القيم التي تم تغييرها - معلمات تكوين sparkmagic ​

2. تمت إضافة خاصية لتعيين عنوان kafka ل ilum-core ​

ميزة ​

تمت إضافة القدرة على تعيين عنوان kafka لجراب ilum-core، منفصل عن تكوين عنوان kafka العمومي لكل من مهام spark ومجموعة pod ilum-core عبر خاصية kafka.address.

القيم المضافة - ilum-core ​

3. تغيير ilum وظيفة healthcheck وقت التسامح ​

القيم التي تم تغييرها - معلمات تكوين التحقق من صحة وظيفة ilum ​

4. تقديم git repo المضمن ​

ميزة ​

تمت إضافة Gitea كوحدة توفر خادم git مدمج لمنصة ilum.

القيم المضافة - gitea ​

القيم المضافة - ilum-jupyter ​

القيم المضافة - تدفق هواء الإيلوم ​

5. تغييرات تسمية تكوين Ilum SQL ​

قم بتغيير تسمية تكوين Ilum Sql لتعكس بشكل أفضل الاستخدام الحالي ل Kyuubi

الأسماء المتغيرة - ilum-core ​

تم تغيير الأسماء - ilum-aio ​

⚠️⚠️⚠️ التحذيرات ​

نظرا للتغييرات في التسمية وفي الأعمال الداخلية لتشغيل محرك SQL ، والقيود المفروضة على ما يمكن القيام به عبر ترقية Helm , مطلوب حذف المجموعة ذات الحالة القديمة يدويا (على سبيل المثال. قم بحذف STS ILUM-SQL ) قبل الترقية إلى هذا الإصدار. سيضمن ذلك أنه أثناء التحديث، يتم إنشاء مجموعة جديدة ذات حالة بالتكوين الصحيح. ترتبط تغييرات الكسر بالتسميات وحوامل وحدة التخزين التي تستخدمها مجموعة الحالة ilum-sql.

6. إضافة تكوينات ل Ilum Submit لمحركات Spark SQL ​

يعمل Ilum Submit على تحسين عملية تشغيل محركات Spark SQL عبر كل من تطبيق ويب Ilum ونقطة نهاية JDBC عن طريق تطبيق تكوينات نظام المجموعة المحدد تلقائيا. يلغي هذا التحسين الحاجة إلى توفير تكوين Spark الخاص ب Kyuubi يدويا إلى Ilum Core.

تم حذف القيمة - ilum-core ​

القيم المضافة - ilum-kyuubi ​

القيم المضافة - ilum-aio ​

⚠️⚠️⚠️ التحذيرات ​

نظرا لأن تكوين Spark الخاص ب Kyuubi لم يعد مطلوبا في Ilum Core بعد الآن ، يجب توفير تكوين Spark الافتراضي مباشرة إلى ilum-sql.config.spark.defaults بدلا من القيمة العالمية.

7. نقل القيم المتعلقة بالأمان في ilum-core من خريطة التكوين إلى السر ​

ميزة ​

تم نقل التكوين المتعلق بالأمان (بما في ذلك بيانات اعتماد المستخدم الداخلية وإعدادات LDAP وOAuth2 وJWT والمراجع) من خريطة التكوين إلى سر Kubernetes مخصص. يؤدي ذلك إلى تحسين أمان البيانات الحساسة عن طريق عزلها عن التكوين غير الحساس.

القيم المضافة - ilum-core ​

8. تغيير نوع خدمة ilum-ui ​

بسبب مشاكل مع kubectl port-forward ، فإننا نعرض NodePort افتراضيا.

القيم التي تم تغييرها - معلمات تكوين ilum-ui healthcheck ​

الإصدار 6.2.1 ​

1. تغيير قيمة عنوان url الخاص ب Kyuubi ​

ميزة ​

قم بتغيير قيمة عنوان url الخاص ب Kyuubi في ilum-core. يجب أن تعمل القيمة الافتراضية الآن خارج الصندوق.

القيم التي تغيرت - ilum-core ​

الإصدار 6.2.1-RC1 ​

1. تكوين إعدادات ذاكرة Spark job في ilum-core ​

ميزة ​

تمت إضافة تكوين إعدادات ذاكرة وظيفة الشرارة في ilum-core. عند إنشاء نظام المجموعة الافتراضي في ilum-core، سيكون لها معلمات إعدادات الذاكرة المعينة على هذه القيم.

القيم المضافة - ilum-core ​

2. إضافة معلمات الاحتفاظ بخادم سجل الشرارة ​

ميزة ​

تمت إضافة معلمات الاحتفاظ بخادم محفوظات الشرارة إلى ilum-core. تسمح هذه المعلمات للمستخدم بتكوين الاحتفاظ بسجلات خادم محفوظات الشرارة.

القيم المضافة - ilum-core ​

3. تقسيم عنوان url الخاص ب Kyuubi إلى مضيف ومنفذ ​

ميزة ​

قم بتقسيم عنوان url الخاص ب Kyuubi إلى مضيف ومنفذ في ilum-core. كان هذا التغيير ضروريا بالنسبة لنا حتى نتمكن من إنشاء محركات مخصصة.

القيم المضافة - ilum-core ​

القيم المحذوفة - ilum-core ​

4. إدخالات إضافية في خريطة تكوين خادم nginx helm_ui ​

ميزة ​

تمت إضافة علامات ممكنة لخادم المحفوظات و minio و ilum-jupyter و airflow و mlflow و lineage إلى ilum-ui. تسمح هذه العلامات للمستخدم بتمكين أو تعطيل الوصول إلى هذه الخدمات من خلال ilum-ui. سيتم استخدام هذه القيم في خريطة تكوين خادم nginx.

القيم المضافة - مخطط ilum-ui ​

5. مجموعة فائقة في مخطط ilum-aio ​

ميزة ​

مجموعة فائقة في مخطط ilum AIO. Superset سريع وخفيف الوزن وبديهي ومحمل بالخيارات التي تسهل على المستخدمين من جميع مجموعات المهارات استكشاف بياناتهم وتصورها ، من المخططات الخطية البسيطة إلى المخططات الجغرافية المكانية التفصيلية للغاية. Superset هي واحدة من الوحدات المدمجة مع منصة Ilum.

القيم المضافة - ilum-ui ​

تكوين تجميع السجل ​

4. تكوين مجموعة Ilum الافتراضي kubernetes من قيم helm ​

ميزة ​

من الآن فصاعدا، سيتم تعيين معلمات نظام مجموعة ilum الافتراضية استنادا إلى قيم helm.

القيم المضافة - مخطط ilum-core ​

الإصدار 6.2.0 ​

1. تم تغيير إصدار علامة الصورة من kyuubi ​

القيم المتغيرة - مخطط ilum-kyuubi ​

2. تم تغيير تكوين شرارة kyuubi في مخطط ilum-kyuubi ​

مضاف spark.driver.memory = 2 جرام في global.kyuubi.sparkConfig

الإصدار 6.2.0-RC2 ​

1. إضافة مسبار حالة Minio ​

ميزة ​

تمت إضافة فحص الحالة في ilum-core يتحقق مما إذا كان تخزين minio جاهزا أم لا

القيم المضافة - ilum-core ​

2. تكوين Kyuubi في ilum-core ​

ميزة ​

تمت إضافة تكوين Kyuubi في مخطط هيلم ilum-core. سيسمح Kyuubi للمستخدم بتنفيذ استعلامات SQL على العديد من مصادر البيانات المختلفة باستخدام واجهة مستخدم ILLUM.

القيم المضافة - ilum-core ​

⚠️⚠️⚠️ التحذيرات ​

من أجل إدارة محركات SQL بشكل صحيح ، نحتاج إلى تمرير تكوين شرارة Kyuubi إلى ilum-core. يتم ذلك عن طريق تكوين شرارة Kyuubi في global.kyuubi.sparkConfig ويسمح للمستخدم بكتابة تكوين واحد يمكن تمريره إلى كل من Kyuubi و ilum-core.

3. تكوين MongoDb uri في ilum-core ​

ميزة ​

قم بتغيير طريقة تمرير mongoDb uri إلى ilum-core. الآن يتم تمريره كسلسلة واحدة ، مما يمكن المستخدم من توفير تكوين أكثر دقة مثل authSource.

القيم المضافة - ilum-core ​

القيم المحذوفة - ilum-core ​

⚠️⚠️⚠️ التحذيرات ​

ال mongo.uri ، إذا تم تعيينه بشكل غير صحيح ، فسيؤدي إلى عدم عمل التطبيق بشكل صحيح. تأكد من توفير سلسلة الاتصال الصحيحة.

كان التنسيق سابقا: mongodb://{ mongo.instances }/ilum-{ release_namespace }?replicaSet={ mongo.replicaSetName } بشكل افتراضي في مخطط ilum-aio ، كانت هذه القيم:

• mongo.instances - ilum-mongodb-0.ilum-mongodb-headless: 27017,ilum-mongodb-1.ilum-mongodb-headless:27017
• mongo.replicaSetName - RS0
• release_namespace - افتراضي

4. الإيقاف التلقائي للتكوين في ilum-core ​

ميزة ​

تمت إضافة الإيقاف المؤقت التلقائي في ilum-core، والذي يتحقق بشكل دوري مما إذا كانت أي مجموعات خاملة للوقت المحدد ويوقف المجموعة مؤقتا. يجب تشغيل الإيقاف المؤقت التلقائي لكل مجموعة حصريا حتى يحدث ذلك.

القيم المضافة - ilum-core ​

5. مصدر الجرافيت في مخطط ilum-aio ​

ميزة ​

مصدر الجرافيت في مخطط ilum AIO وتكوين الجرافيت في مخطط ilum-core. مصدر الجرافيت هو مصدر Prometheus للمقاييس التي تم تصديرها في بروتوكول النص العادي الجرافيت.

القيم المضافة - مصدر الجرافيت ​

تمت إضافة مخطط كامل حديثا ، تحقق من قيمه على صفحة الرسم البياني

6. تكوين الجرافيت في ilum-core ​

ميزة ​

تمت إضافة تكوين الجرافيت في مخطط هيلم ilum-core. سيسمح الجرافيت لوظائف Spark بإرسال مقاييسها إلى حوض الجرافيت ، والذي سيتم كشطه بواسطة Prometheus.

القيم المضافة - ilum-core ​

الإصدار 6.1.4 ​

1. تغيير تكوين Jupyter الافتراضي sparkmagic ​

ميزة ​

تم تغيير طريقة تمرير التكوينات الافتراضية للشرارة إلى دفتر ملاحظات jupyter ، والآن يتم تمريرها كسلسلة json

القيم المضافة - ilum-jupyter ​

معلمات تكوين SparkMagic ​

2. كيوبي في مخطط ilum-aio ​

ميزة ​

كيوبي في مخطط ilum AIO. Kyuubi هي بوابة موزعة متعددة المستأجرين توفر خدمات استعلام SQL لمستودعات البيانات ومنازل البحيرات. يوفر كلا من واجهات JDBC و ODBC ، وواجهة برمجة تطبيقات REST للعملاء للتفاعل معها.

القيم المضافة - ilum-kyuubi ​

تمت إضافة مخطط كامل حديثا ، تحقق من قيمه على صفحة الرسم البياني

الإصدار 6.1.3 ​

1. تكوين Jupyter والتخزين المستمر ​

ميزة ​

تمت إضافة تكوين موسع لمخطط خوذة دفتر ملاحظات jupyter من خلال قيم helm. علاوة على ذلك ، تمت إضافة تخزين ثابت إلى جراب jupyter. جميع البيانات المحفوظة في عمل سيكون الدليل متاحا الآن بعد إعادة تشغيل / تحديث Jupyter.

القيم المضافة - ilum-jupyter ​

معلمات PVC ​

معلمات تكوين SparkMagic ​

الإصدار 6.1.2 ​

1. خلية الميتا في مخطط ilum-aio ​

ميزة ​

خلية metastore في مخطط ilum AIO. HMS هو مستودع مركزي للبيانات الوصفية لجداول وأقسام Hive في قاعدة بيانات علائقية ، ويوفر للعملاء (بما في ذلك Hive وImpala وSpark) إمكانية الوصول إلى هذه المعلومات باستخدام واجهة برمجة تطبيقات خدمة metastore. مع تمكين خلية metastore في ilum AIO ، يمكن تكوين مهام شرارة مكدس التي يتم تشغيلها بواسطة ilum للوصول إليها تلقائيا.

القيم المضافة - ilum-hive-metastore ​

تمت إضافة مخطط كامل حديثا ، تحقق من قيمه على صفحة الرسم البياني

القيم المضافة - ilum-core ​

2. تمت إضافة ملحقات Postgres ​

ميزة ​

يستخدم عدد قليل من الحروف الفرعية ilum AIO postgresql ، لتسهيل إدارة نشرها ، أضفنا مورد ملحق postgres لإنشاء قواعد بيانات postgresql ل ilum sucharts.

القيم المضافة - ilum-aio ​

معلمات ملحقات PostgreSQL ​

3. Loki و promtail في مخطط ilum-aio ​

ميزة ​

Loki و promtail في مخطط ilum AIO. Loki هو نظام تجميع سجلات متعدد المستأجرين قابل للتطوير أفقيا ومتاح بدرجة كبيرة ومستوحى من Prometheus. Promtail هو وكيل يقوم بشحن محتويات السجلات المحلية إلى مثيل Grafana Loki. ستستخدم Ilum الآن loki لتجميع السجلات من كبسولات وظائف spark لتكون قادرا على تنظيف موارد نظام المجموعة بعد الانتهاء من المهام. تم تكوين Loki و promtail مسبقا لإلغاء السجلات فقط من كبسولات الشرارة التي تديرها ilum من أجل جلب سجلات المهام بعد انتهائها.

القيم المضافة - ilum-core ​

تكوين تجميع السجل ​

القيم المضافة - ilum-aio ​

تجميع السجل - تكوين Loki ​

تجميع السجل - تكوين Loki ​

الإصدار 6.1.1 ​

1. تمت إضافة فحوصات صحية لوظائف ilum التفاعلية ​

ميزة ​

لمنع المواقف التي بها سحق غير متوقع لمجموعات ilum ، أضفنا فحوصات صحية للتأكد من أنها تعمل كما ينبغي.

القيم المضافة - ilum-core ​

معلمات ILUM-JOB ​

2. مقياس النسخ المتماثلة ذي المعلمات لخدمات ilum القابلة للتطوير ​

ميزة ​

تم استخراج تكوين عدد النسخ المتماثلة لخدمات ilum القابلة للتطوير إلى قيم helm.

القيم المضافة - ilum-core ​

المعلمات المشتركة الأساسية ILUM ​

القيم المضافة - ilum-ui ​

المعلمات المشتركة بين ILUM-UI ​

الإصدار 6.1.0 ​

1. المعلمات المحذوفة غير الضرورية من تخزين دبابير مجموعة ilum ​

ميزة ​

لم تعد حاويات تخزين WASBS بحاجة إلى وجود رمز sas المميز في قيم helm حيث اتضح أنها غير ضرورية

القيم المحذوفة - ilum-core ​

معلمات تخزين WASBS ​

القيم المضافة - ilum-core ​

معلمات تخزين WASBS ​

2. إضافة حاويات init للتحقق من توفر الخدمة ​

ميزة ​

لجعل نشر Ilum أكثر رشاقة ، من الآن فصاعدا تحتوي حاويات Ilum على حاويات تنتظر توافر الخدمات التي تعتمد عليها.

القيم المضافة - ilum-core ​

القيم المضافة - ilum-livy-proxy ​

القيم المضافة - ilum-ui ​

3. منتجي كافكا محددين في مخطط ilum-core ​

ميزة ​

في وضع اتصال كافكا ilum استجابات الوظائف التفاعلية لحالات العمل التفاعلية باستخدام منتجي كافكا. مع قيم الدفة المضافة حديثا ، يمكن تكييف منتج كافكا لتتناسب مع احتياجات المستخدم.

القيم المضافة - ilum-core ​

معلمات كافكا ​

الإصدار 6.1.0-RC1 ​

1. دعم إضافي للتعليقات التوضيحية للخدمة ​

ميزة ​

يمكن الآن تكوين التعليقات التوضيحية لخدمات مخططات Ilum helm من خلال قيم helm

القيم المضافة - ilum-core ​

معلمات الخدمة ​

القيم المضافة - ilum-jupyter ​

معلمات الخدمة ​

القيم المضافة - ilum-livy-proxy ​

معلمات الخدمة ​

القيم المضافة - ilum-ui ​

معلمات الخدمة ​

القيم المضافة - ilum-zeppelin ​

معلمات الخدمة ​

2. سحب معلمات الأمان oauth2 إلى القيم العالمية ​

ميزة ​

يتم الآن تعيين تكوين Ilum security oauth2 من خلال القيم العالمية

القيم المضافة - ilum-aio ​

معلمات الأمان ​

القيم المحذوفة - ilum-core ​

معلمات الأمان ​

3. متغيرات بيئة وقت التشغيل للواجهة الأمامية ​

ميزة ​

تكوين متغيرات بيئة الواجهة الأمامية من خلال قيم واجهة مستخدم helm.

القيم المضافة - ilum-ui ​

متغيرات وقت التشغيل ​

القيم المحذوفة - ilum-ui ​

4. Kube-prometheus-stack في مخطط ilum-aio ​

ميزة ​

كومة Kube prometheus في مخطط ilum AIO. تم تكوينه مسبقا للعمل تلقائيا مع نشر ilum لتجميع مقاييس ilum pods ووظائف spark التي يديرها ilum. يوفر Ilum شاشات خدمة prometheus لكشط المقاييس تلقائيا من كبسولات برنامج تشغيل الشرارة التي تديرها خدمات الواجهة الخلفية ilum و ilum. بالإضافة إلى ذلك ، يوفر المخطط ilum_aio لوحات معلومات grafana مضمنة يمكن العثور عليها في إيلوم مجلد.

القيم المضافة - ilum-aio ​

متغيرات kube-prometheus-stack - لفحص التكوين الموسع مخطط خوذة المكدس Kube-Prometheus ​

القيم المضافة - ilum-core ​

5. ماركيز OpenLineage في مخطط ilum-aio ​

ميزة ​

Marquez OpenLineage في مخطط ilum AIO. يتيح ماركيز استهلاك بيانات تعريف OpenLineage وتخزينها وتصورها من جميع أنحاء المؤسسة، خدمة حالات الاستخدام بما في ذلك إدارة البيانات ومراقبة جودة البيانات وتحليلات الأداء. مع تمكين marquez في ilum AIO ، ستشارك وظيفة شرارة مكدس الدفة التي تديرها Ilum معلومات النسب مع الواجهة الخلفية markez. تقوم واجهة الويب Marquez بتصور معلومات ترخيص البيانات التي تم جمعها من وظائف الشرارة ويمكن الوصول إليها من خلال واجهة مستخدم ilum مثل iframe.

القيم المضافة - ilum-aio ​

القيم المضافة - ilum-core ​

القيم المضافة - ilum-marquez ​

تمت إضافة مخطط كامل حديثا ، تحقق من قيمه على صفحة الرسم البياني

القيم المضافة - ilum-ui ​

الإصدار 6.0.3 ​

1. معلمة منتجي كافكا max.request.size في مخطط ilum-core ​

ميزة ​

في وضع اتصال كافكا ilum استجابات الوظائف التفاعلية لحالات العمل التفاعلية باستخدام منتجي كافكا. مع قيمة الدفة المضافة حديثا max.request.size يمكن تكييف معلمة منتج كافكا لتتناسب مع احتياجات حجم الاستجابات.

القيم المضافة - ilum-core ​

معلمات كافكا ​

الإصدار 6.0.2 ​

1. دعم HDFS و GCS و Azure Blob Storage في مخطط ilum-core ​

ميزة ​

لم يعد من الضروري إرفاق نظام مجموعة Ilum بتخزين s3، ومن الآن يمكن تكوين نظام المجموعة الافتراضي لاستخدام hdfs أو gcs أو Azure blob كتخزين أيضا. يمكن تحقيق ذلك باستخدام القيم المضافة حديثا في مخطط الرأس الأساسي.

القيم المحذوفة - ilum-core ​

القيم المضافة - ilum-core ​

معلمات تخزين Kubernetes ​

معلمات تخزين S3 Kubernetes ​

معلمات تخزين GCS Kubernetes ​

معلمات تخزين WASBS Kubernetes ​

معلمات تخزين HDFS Kubernetes ​

مهم! تأكد من إنشاء حاويات S3 / GCS أو حاويات WASBS بالفعل ويمكن الوصول إليها!

2. تمت إضافة خادم تاريخ الشرارة إلى مخطط هيلام ilum-core ​

ميزة ​

يمكن نشر خادم محفوظات Spark من الآن فصاعدا جنبا إلى جنب مع ilum-core. يتم تمرير تكوين خادم المحفوظات إلى كل تشغيل وظيفة شرارة. يمكن الآن الوصول إلى واجهة مستخدم خادم المحفوظات بواسطة واجهة مستخدم ilum. إذا تم تمكينه، فسيستخدم تخزين مجموعة kubernetes الافتراضي الذي تم تكوينه باستخدام kubernetes. [STORAGE_TYPE]. [PARAMETER] كتخزين eventLog.

القيم المضافة - ilum-core ​

معلمات خادم المحفوظات ​

حدود: 
الذاكرة: "500Mi" 
الطلبات: 
الذاكرة: "300Mi" 

التحذيرات ​

1. تأكد من أن HDFS logDirectory (قيمة helm kubernetes.hdfs.logDirectory) هو المسار المطلق ل sparkCatalog الذي تم تكوينه مع لاحقة /ilum/logs! على سبيل المثال ل kubernetes.hdfs.sparkCatalog = spark-catalog ضع hdfs://name-node/user/username/spark-catalog/ilum/logs

3. الاحتفاظ بالوظيفة في مخطط ilum-core ​

ميزة ​

سيتم حذف وظائف Ilum بعد انتهاء فترة الاستبقاء التي تم تكوينها

القيم المضافة - ilum-core ​

معلمات الاحتفاظ بالوظائف ​