تخطي إلى المحتوى الرئيسي

مخازن إيلوم

لتوفير قدر أكبر من المرونة وإثراء مجموعة الإمكانيات المتاحة لمستخدمي Ilum ، قمنا بتوسيع إمكانية تكوين التخزين الذي يعمل عليه Ilum. حتى الآن ، كان Ilum مرتبطا بقوة ب S3 ، ولكن اعتبارا من الإصدار 6.1.0 قمنا بتغيير هذا. حاليا ، من الممكن استخدام واحد من 4 أنواع من التخزين:

  1. S3 - خدمة التخزين البسيطة من أمازون أو أي واجهة متوافقة مع S3 مثل الأعشاب البحرية FS أو ميني آيو.
  2. جي سي إس - التخزين السحابي من Google.
  3. WASBS - تخزين Azure Blob.
  4. HDFS - نظام الملفات الموزعة Hadoop.

يمكن تكوين تخزين نظام المجموعة الافتراضي Ilum بقيم helm. إليك كيفية تكوين كل منها باستخدام الأمر helm upgrade:

S3​

ترقية Helm \
	--جبر ilum-core.kubernetes.upgradeClusterOnStartup=صحيح \
	--جبر ilum-core.kubernetes.storage.type=ق3 \
	--جبر ilum-core.kubernetes.s3.host=ilum-minio \
    --جبر ilum-core.kubernetes.s3.port=9000 \
    --جبر ilum-core.kubernetes.s3.sparkBucket=ilum-spark \
    --جبر ilum-core.kubernetes.s3.dataBucket=ilum-data \
    --جبر ilum-core.kubernetes.s3.accessKey=minioadmin \
    --جبر ilum-core.kubernetes.s3.secretKey=minioadmin \
	- إعادة استخدام قيم ilum ilum / ilum

جي سي إس​

ترقية Helm \
	--جبر ilum-core.kubernetes.upgradeClusterOnStartup=صحيح \
	--جبر ilum-core.kubernetes.storage.type=جي سي إس \
	--جبر ilum-core.kubernetes.gcs.clientEmail=gcsEmail \
    --جبر ilum-core.kubernetes.gcs.privateKey=gcsPrivateKey \
    --جبر ilum-core.kubernetes.gcs.privateKeyId=gcsPrivateKeyId \
    --جبر ilum-core.kubernetes.gcs.sparkBucket=ilum-spark \
    --جبر ilum-core.kubernetes.gcs.dataBucket=ilum-data \
	- إعادة استخدام قيم ilum ilum / ilum

WASBS - تخزين Azure Blob​

ترقية Helm \
	--جبر ilum-core.kubernetes.upgradeClusterOnStartup=صحيح \
	--جبر ilum-core.kubernetes.storage.type=الواب \
	--جبر ilum-core.kubernetes.wasbs.accessKey=wasbsAccessKey \
    --جبر ilum-core.kubernetes.wasbs.accountName=wasbsAccountName \
    --جبر ilum-core.kubernetes.wasbs.sparkContainer=ilum-spark \
    --جبر ilum-core.kubernetes.wasbs.dataContainer=ilum-data \
    - إعادة استخدام قيم ilum ilum / ilum

HDFS​

ترقية Helm \
	--جبر ilum-core.kubernetes.upgradeClusterOnStartup=صحيح \
	--جبر ilum-core.kubernetes.storage.type=HDFS \
	--جبر ilum-core.kubernetes.hdfs.hadoopUsername=HDFS \
    --جبر ilum-core.kubernetes.hdfs.config.'core-site\.xml'=base64EncodedCore-SiteFileContent \
    --جبر ilum-core.kubernetes.hdfs.config.'yarn-site\.xml'=base64EncodedYarn-SiteFileContent \
    --جبر ilum-core.kubernetes.hdfs.config.'hdfs-site\.xml'=base64EncodedHdfs-SiteFileContent \
    --جبر ilum-core.kubernetes.hdfs.config.'mapred-site\.xml'=base64EncodedMapred-SiteFileContent \
    --جبر ilum-core.kubernetes.hdfs.sparkCatalog=ilum-spark \
    --جبر ilum-core.kubernetes.hdfs.dataCatalog=ilum-data \
    --جبر ilum-core.kubernetes.hdfs.logDirectory=hdfs://10.1.2.3/user/hdfs/illum-spark/ilum/logs \
    - إعادة استخدام قيم ilum ilum / ilum

ملاحظه: يجب ترميز ملفات تكوين HDFS بتنسيق base64

تحذيركن حذرا ، إذا كنت ترغب في تغيير تخزين الشرارة لنظام المجموعة ، فتأكد من عدم وجود مجموعات أو وظائف معينة لها ، وإلا فقد يؤدي ذلك إلى مشاكل عند إزالتها بعد التحديث:

اعتمادا على أي من الخيارات المذكورة أعلاه تختارها، سيتم إنشاء خادم نظام مجموعة افتراضي ومحفوظات شرارة، إذا تم تمكينه، تم تكوينه باستخدام هذا التخزين المحدد.

يمكن تعيين مخازن متعددة لكل مجموعة Ilum على مستوى إنشاء نظام المجموعة، ويتم نقل التكوين الضروري لكل منها إلى وظائف الشرارة لهذه المجموعة، حتى نتمكن من الوصول بسهولة إلى جداول ilum الموجودة في تلك المخازن.

مثل​

يمكنك العثور على أمثلة حول كيفية الاستفادة من مجموعة Ilum متعددة التخزين في وظائف الشرارة الخاصة بك في هذا مستودع

Last updated on