تخطي إلى المحتوى الرئيسي

تخزين Ilum

لتوفير قدر أكبر من المرونة وإثراء مجموعة الإمكانيات المتاحة لمستخدمي Ilum ، قمنا بتوسيع إمكانية تكوين التخزين الذي يعمل عليه Ilum. حتى الآن ، كان Ilum مرتبطا بقوة ب S3 ، ولكن اعتبارا من الإصدار 6.1.0 قمنا بتغيير هذا. حاليا ، من الممكن استخدام واحد من 4 أنواع من التخزين:

  1. S3 - خدمة التخزين البسيطة من أمازون أو أي واجهة متوافقة مع S3 مثل الأعشاب البحرية FS أو ميني آيو .
  2. جي سي إس - التخزين السحابي من Google.
  3. WASBS - تخزين Azure Blob.
  4. HDFS - نظام الملفات الموزعة Hadoop.

يمكن تكوين تخزين نظام المجموعة الافتراضي Ilum بقيم helm. إليك كيفية تكوين كل منها باستخدام الأمر helm upgrade:

S3 ​

ترقية Helm \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--set ilum-core.kubernetes.storage.type=s3 \ 
--set ilum-core.kubernetes.s3.host=ilum-minio \ 
- تعيين ilum-core.kubernetes.s3.port=9000 \ 
--set ilum-core.kubernetes.s3.sparkBucket=ilum-spark \ 
--set ilum-core.kubernetes.s3.dataBucket=ilum-data \ 
--set ilum-core.kubernetes.s3.accessKey=minioadmin \ 
--set ilum-core.kubernetes.s3.secretKey = minioadmin \ 
- إعادة استخدام قيم ilum ilum / ilum

جي سي إس ​

ترقية Helm \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--set ilum-core.kubernetes.storage.type=gcs \ 
--set ilum-core.kubernetes.gcs.clientEmail=gcsEmail \ 
--set ilum-core.kubernetes.gcs.privateKey=gcsPrivateKey \ 
--set ilum-core.kubernetes.gcs.privateKeyId=gcsPrivateKeyId \ 
--set ilum-core.kubernetes.gcs.sparkBucket=ilum-spark \ 
--set ilum-core.kubernetes.gcs.dataBucket=ilum-data \ 
- إعادة استخدام قيم ilum ilum / ilum

WASBS - تخزين Azure Blob ​

ترقية Helm \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--set ilum-core.kubernetes.storage.type=wasbs \ 
--set ilum-core.kubernetes.wasbs.accessKey=wasbsAccessKey \ 
--set ilum-core.kubernetes.wasbs.accountName=wasbsAccountName \ 
--set ilum-core.kubernetes.wasbs.sparkContainer=ilum-spark \ 
--set ilum-core.kubernetes.wasbs.dataContainer=ilum-data \ 
- إعادة استخدام قيم ilum ilum / ilum

HDFS ​

ترقية Helm \ 
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \ 
--set ilum-core.kubernetes.storage.type=hdfs \ 
--set ilum-core.kubernetes.hdfs.hadoopUsername=hdfs \ 
--set ilum-core.kubernetes.hdfs.config.'core-site\.xml'=base64EncodedCore-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'yarn-site\.xml'=base64EncodedYarn-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'hdfs-site\.xml'=base64EncodedHdfs-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.config.'mapred-site\.xml'=base64EncodedMapred-SiteFileContent \ 
--set ilum-core.kubernetes.hdfs.sparkCatalog=ilum-spark \ 
--set ilum-core.kubernetes.hdfs.dataCatalog=ilum-data \ 
--set ilum-core.kubernetes.hdfs.logDirectory=hdfs://10.1.2.3/user/hdfs/illum-spark/ilum/logs \ 
- إعادة استخدام قيم ilum ilum / ilum

ملاحظه: يجب ترميز ملفات تكوين HDFS بتنسيق base64

تحذير كن حذرا ، إذا كنت ترغب في تغيير تخزين الشرارة لنظام المجموعة ، فتأكد من عدم وجود مجموعات أو وظائف معينة لها ، وإلا فقد يؤدي ذلك إلى مشاكل عند إزالتها بعد التحديث:

اعتمادا على أي من الخيارات المذكورة أعلاه تختارها، سيتم إنشاء خادم نظام مجموعة افتراضي ومحفوظات شرارة، إذا تم تمكينه، تم تكوينه باستخدام هذا التخزين المحدد.

يمكن تعيين مخازن متعددة لكل مجموعة Ilum على مستوى إنشاء نظام المجموعة، ويتم نقل التكوين الضروري لكل منها إلى وظائف الشرارة لهذه المجموعة، حتى نتمكن من الوصول بسهولة إلى جداول ilum الموجودة في تلك المخازن.

مثل ​

يمكنك العثور على أمثلة حول كيفية الاستفادة من مجموعة Ilum متعددة التخزين في وظائف الشرارة الخاصة بك في هذا مستودع