تخطي إلى المحتوى الرئيسي

هجرة

يتضمن الترحيل من Apache Hadoop إلى Ilum عدة خطوات ، تبدأ عادة بإعداد البيئة الجديدة ، تليها ترحيل البيانات والتطبيقات ، وأخيرا الاختبار والتحسين. فيما يلي مخطط عام للعملية:

  1. اعداد فهم نشر Hadoop الحالي، بما في ذلك البيانات والتطبيقات والتبعيات التي يحتوي عليها.: قم بتوثيق جميع التفاصيل ذات الصلة لضمان عدم فقد أي شيء في الانتقال.

  2. إعداد بيئة Kubernetes قم بتثبيت مجموعة Kubernetes وتكوينها وفقا لاحتياجاتك التنظيمية.: سيكون هذا بمثابة الأساس لمجموعات Spark التي تديرها Ilum.

  3. تثبيت Ilum انشر Ilum على مجموعة Kubernetes باستخدام Helm، مدير حزم ل Kubernetes.: تأكد من تكوين Ilum بشكل صحيح لإدارة مجموعات Spark الخاصة بك.

  4. ترحيل البيانات ابدأ ترحيل البيانات من نظام مجموعة Hadoop إلى بيئتك الجديدة.: قد يتضمن ذلك نقل البيانات إلى نظام ملفات موزع يمكن الوصول إليه بواسطة مجموعة Kubernetes الخاصة بك ، أو إلى نظام تخزين متوافق مع S3 إذا كان ذلك جزءا من بنيتك الجديدة.

  5. ترحيل التطبيق قم بترحيل تطبيقات Spark من بيئة Hadoop إلى بيئة Kubernetes الجديدة.: قد يتضمن ذلك تغييرات على تطبيقاتك لتكييفها مع الاختلافات بين Hadoop Yarn و Kubernetes.

  6. تحديث التبعيات قم بتحديث أي تبعيات تمتلكها تطبيقاتك، مثل تغيير مصادر البيانات من HDFS إلى موقع التخزين الجديد.:

  7. اختبار قم بإجراء اختبار شامل للتأكد من أن تطبيقاتك تعمل بشكل صحيح في البيئة الجديدة.: يجب أن يشمل ذلك الاختبار الوظيفي بالإضافة إلى اختبار الأداء للتأكد من أن تطبيقاتك تعمل على الأقل كما فعلت في بيئة Hadoop.

  8. الامثل بناء على الاختبار الخاص بك ، قم بتحسين تكوينات Kubernetes و Ilum للحصول على أفضل أداء.:

  9. رصد بمجرد ترحيل كل شيء وتحسينه ، استمر في مراقبة تطبيقاتك وبنيتك التحتية للتأكد من أن كل شيء يعمل بسلاسة.: يوفر Ilum واجهة ويب تجعل من السهل مراقبة مجموعات Spark ووظائفك.

هذا مخطط تفصيلي عالي المستوى وستختلف التفاصيل اعتمادا على إعداد Hadoop الحالي وحالات الاستخدام المحددة الخاصة بك وبنية بيئتك الجديدة. تجدر الإشارة أيضا إلى أن الترحيل يمكن أن يكون عملية معقدة ، وقد يكون من المفيد العمل مع الخبراء أو البحث عن أدلة أو موارد مفصلة للمساعدة في الترحيل.

دعم الترحيل ​

قد يبدو الانتقال من Apache Hadoop إلى بيئة جديدة تديرها Ilum أمرا صعبا ، لكنك لست وحدك في هذه العملية. نحن نتفهم أن ترحيل البيانات والتطبيقات وإعداد بيئة جديدة والتأكد من أن كل شيء يعمل كما هو متوقع يمكن أن يكون مهمة معقدة.

لمساعدتك في هذه العملية ، فإن فريقنا في Ilum مستعد لتقديم الدعم الشامل. إذا كنت بحاجة إلى مساعدة في إعداد Ilum أو ترحيل مجموعات Spark أو أي جانب آخر من جوانب عملية الانتقال ، فلا تتردد في التواصل معنا. يمكننا توفير مخطط Helm لسهولة نشر Ilum، وإرشادك خلال الخطوات اللازمة لترحيل مجموعة Hadoop الحالية إلى البيئة الجديدة.

نحن ملتزمون بجعل عملية الترحيل سلسة قدر الإمكان بالنسبة لك. سواء كانت لديك أسئلة فنية أو تحتاج إلى إرشادات حول أفضل الممارسات أو واجهت أي مشاكل أثناء الترحيل، فنحن هنا لمساعدتك.

يرجى الاتصال بنا على [البريد الإلكتروني محمي] في أي وقت للمساعدة في هجرتك إلى إيلوم. فريق الدعم المخصص لدينا جاهز وحريص على مساعدتك في رحلتك نحو إدارة مجموعة Apache Spark بكفاءة وإدارة مع Ilum.

ملاحظات الترحيل ​

الترحيل من 5.*.* إلى 6.0.0 ​

مع إصدار الإصدار 6.0.0، قدمنا تنفيذا أمنيا جديدا يتطلب الاهتمام أثناء عملية الترحيل. يجب إعادة إنشاء حسابات المستخدمين الحالية إذا تم إجراء أي تغييرات على حساب المسؤول الافتراضي.

اتبع الخطوات أدناه للترحيل بنجاح إلى الإصدار 6.0.0. يقوم أمر مثال بإنشاء حسابين: أحدهما للمسؤول والثاني لمستخدم عادي. 

ترقية Helm \ 
--set ilum-core.security.internal.users[0].username=admin \ 
--set ilum-core.security.internal.users[0].password=adminPassword \ 
--set ilum-core.security.internal.users[0].roles[0]=ADMIN \ 
--set ilum-core.security.internal.users[1].username=user \ 
--set ilum-core.security.internal.users[1].password=userPassword \ 
--set ilum-core.security.internal.users[1].roles[0]=USER \ 
- إعادة استخدام قيم ilum ilum / ilum

للتحقق من جميع طرق المصادقة المدعومة ومعلماتها، تفضل بزيارة ملفات README.md في مخططات ilum-core.

الترحيل من 6.0.* إلى 6.1.0 ​

مع إصدار الإصدار 6.1.0 ، قدمنا تطبيقا جديدا لتخزين ilum spark يتطلب الاهتمام أثناء عملية الترحيل. يجب تنسيق تكوين الحاوية الحالية لمطابقة المخطط الجديد.

في السابق ، تم تكوين حاوية s3 المستخدمة من قبل ilum لتخزين موارد الشرارة باستخدام ilum-core.kubernetes.s3.bucket قيمة الدفة. منذ الإصدار 6.1.0 ، تم استبداله بمعلمتين جديدتين:

  1. ilum-core.kubernetes.s3.sparkBucket - يلعب نفس دور المعلمة السابقة
  2. ilum-core.kubernetes.s3.dataBucket - تستخدم لتكوين الجرافة لتخزين جداول ILUM