تحميل البيانات من ملف CVS إلى قاعدة بيانات Azure SQL باستخدام Azure Data Factory

لدينا هنا 2 ملف csv في حاوية BLOB ، ونريد تحميل البيانات من ملف csv إلى جداول قاعدة البيانات المعنية (على سبيل المثال ، يجب تحميل بيانات ملف المنتج في جدول المنتج).

هناك بعض المتطلبات الأساسية: يجب أن يكون لديك اشتراك Azure. يجب أن يكون هناك حاوية BLOB ضمن حساب التخزين الذي يحتوي على الملف المصدر. يجب أن تكون قد قمت بالفعل بإعداد خادم قاعدة بيانات Azure SQL. ويجب أن يكون لديك تفاصيل SQL Server ومعرف المستخدم وكلمة المرور ويجب أن يكون لديك حق الوصول إليها.

تتمثل الخطوة الأولى في في قراءة أسماء الملفات من حاوية Blob. سنستخدم نشاط GetFileName في ADF. قم بإنشاء مسار جديد واسحب نشاط GetFileName.

في علامة تبويب مجموعة البيانات ، حدد مجموعة بيانات BLOB من القائمة المنسدلة.

هنا لدينا خيار للدلالة أدناه ، والذي يمكننا تهيئته بناءً على البيانات الوصفية التي نريد قراءتها.

هنا سوف نختار العناصر الفرعية من القائمة المنسدلة. انقر فوق التحقق من الصحة ، وبمجرد أن تنجح ، انقر فوق تصحيح الأخطاء ، سيعرض لك اسم الملفات الموجودة في حاوية المصدر.

سنقوم الآن بالتكرار مع الملفات الموجودة في مجلدات المصدر (حاوية BLOB). لتحقيق ذلك ، سنستخدم نشاط ForEach. اسحبه في خط الأنابيب وقم بتوصيل ناتج نشاط الحصول على البيانات الوصفية به.

انقر الآن داخل نشاط ForEach وانتقل إلى علامة التبويب “الإعدادات”. في حقل العنصر ، انقر فوق إضافة محتوى ديناميكي وأضف التعبير أدناه وانقر فوق إنهاء.

هنا نقوم بتمرير اسم الملف من نشاط الحصول على البيانات الوصفية.

انتقل إلى علامة تبويب “النشاط” وأضف نشاطًا جديدًا. سوف يأخذك داخل الحلقة. اسحب نشاط الشرط هنا.

سنتحقق من اسم الملف في هذه الخطوة. انتقل إلى علامة تبويب الأنشطة ، حقل التعبير انقر فوق إضافة محتوى ديناميكي وأضف التعبير أدناه وانقر فوق إنهاء.

نقوم هنا بتمرير تعبير للتحقق مما إذا كان اسم الملف يبدأ بالمنتج.

نحتاج الآن إلى تحميل البيانات من ملف المنتج إلى جدول المنتج. انقر فوق علامة القلم الرصاص لنشاط TRUE. سوف يأخذك داخل النشاط.

اسحب نشاط النسخ داخل نشاط الشرط If.

انقر فوق علامة التبويب المصدر ، وحدد مجموعة البيانات من القائمة المنسدلة التي تشير إلى المجلد المصدر في حاوية BLOB. حدد حرف البدل في مسار نوع الملف.

انقر الآن على إضافة محتوى ديناميكي في اسم ملف حرف البدل وقم بإعطاء التعبير أدناه.

سوف يلتقط الملف الذي يبدأ بالمنتج.

انتقل إلى علامة التبويب “مزامنة” وحدد مجموعة البيانات من القائمة المنسدلة (يجب أن تكون ذات معلمات).

بمجرد التحديد ، سيطلب اسم المخطط واسم الجدول.

انتقل الآن إلى علامة تبويب التعيين وانقر على مخطط الاستيراد. سيقوم باستيراد العمود من كل من المصدر والوجهة.

تحقق من التعيين وانقر على التحقق من الصحة وتصحيح الأخطاء

بمجرد نجاحها. تحقق من صحة أنبوبك وانشره.