أتمتة تحليل سوق العمل باستخدام n8n وApify وOpenAI وربط النتائج مع Power BI
مقدمة ونظرة عامة
في عالم سريع التغيّر، أصبح تحليل بيانات سوق العمل ضرورة لفهم اتجاهات التوظيف وتحديد المهارات والتقنيات المطلوبة. يوضح هذا المستند بناء نظام ذكي ومؤتمت بالكامل لاستخراج إعلانات الوظائف من منصات مثل LinkedIn، تحليل وصفها لاستخراج الكيانات التقنية، ثم عرض النتائج في لوحة Power BI تفاعلية.
البنية والأدوات المستخدمة
يتكوّن النظام من خطوات مترابطة تعمل بانسيابية من جمع البيانات حتى عرضها التحليلي. الأدوات الرئيسية المستخدمة:
- Apify — منصة لاستخراج البيانات (Web Scraping) من مواقع مثل LinkedIn وإرجاع النتائج بصيغة JSON.
- n8n — أداة أتمتة Workflow لإدارة تسلسل المهام، وتشغيل استدعاءات API، ومعالجة النتائج.
- OpenAI — نموذج لغوي لتحليل النصوص واستخراج فئات مثل: التقنيات، الأدوات، البرمجيات، المنصات، الأطر، المفاهيم التقنية، والشهادات.
- Google Sheets / Excel — تخزين النتائج بشكل منظم لتكون مصدرًا للتقارير والتحليلات.
- Power BI — عرض البيانات بصريًا وبناء لوحات تفاعلية قابلة للتصفية والتحليل.
خطوات التنفيذ موجزًا
- تشغيل الـ Workflow (يدوي أو مجدول).
- استدعاء Apify لاستخراج إعلانات الوظائف وإرجاع JSON.
- تقسيم كل إعلان ومعالجته داخل حلقة واحدة لضمان استقرار الأداء.
- تمرير وصف الوظيفة إلى OpenAI (LangChain Agent) لاستخراج الحقول المطلوبة بصيغة JSON منظمة.
- حفظ الصفوف الناتجة في Google Sheets عبر Append Row.
- ربط Power BI بمصدر البيانات لعرض الترندات والمهارات المطلوبة.
ملاحظة تقنية: التأكد من تطابق أسماء مفاتيح JSON مع رؤوس الأعمدة في Google Sheets (مثال:
technical_concepts) لتجنّب أعمدة زائدة أو فشل عملية الإضافة.فوائد ومميزات النظام
يجمع هذا التصميم بين الأتمتة والتحليل اللغوي والتمثيل البصري لتقديم حل عملي يوفّر الوقت، يحسّن الدقة، ويسهل متابعة تغيرات سوق العمل في الزمن الحقيقي أو المجدول.
