للمهتمين في شهادة
Microsoft Certified: Power BI Data Analyst Associate
راح أتكلم عنها من خلال هذه النقاط
نبده عنها
التحضير للاختبار
طريقة الاختبار
التكلفة
وملاحظات عامة
#علم_البيانات
بعد الانتهاء من أساسيات #علم_البيانات مثل الإحصاء و SQL أيضا Python or R. تحتاج تتعمق أكثر
من أفضل الطرق هو إختيار مسار track تكون مدته أشهر وغالبا يحتوي على مشاريع عملية تنجزها قبل الحصول على الشهادة.
راح أعرض بعض هذه البرنامج وفي الثريد القادم بإذن الله بعض الشهادات الاحترافية
عدة جهات تقدم شهادات احترافية في علم البيانات. في هذا الموضوع راح أستعرض بعض الشهادات التي تخص عالم البيانات مع مرور بسيط على شهادات مهندس أو محلل البيانات
#علم_البيانات
للمهتمين في شهادة
Microsoft Certified: Power BI Data Analyst Associate
راح أتكلم عنها من خلال هذه النقاط
نبده عنها
التحضير للاختبار
طريقة الاختبار
التكلفة
وملاحظات عامة
#علم_البيانات
إذا مهتم تتوظف في تحليل البيانات في السعودية لازم يكون عندك فهم وعمق كبير في قواعد البيانات. معظم الجهات عندنا بياناتها structure.
قواعد البيانات بحر واسع ما تقف على كتابة SQL Query. مهم نفهم كيف تتنفذ مثلاً هل أسرع join و subquery كيف تعمل query optimization.
جودة البيانات Data Quality أحد الركائز الأساسية في إدارة البيانات. وغالباً تكون من أول الأسئلة في المقابلات المتعلقة بالبيانات
هناك مجموعة من الخصائص أو الأبعاد تسمى Data Quality Dimensions
وهي عبارة عن سمات characteristics يمكن من من خلالها قياس جودة البيانات
#علم_البيانات
هناك خمسة أنواع لتحليل البيانات - البعض يختصرها في أربعة أنواع-
في هذه السلسلة سأحاول توضيح هذه الأنواع بشيء من التفصيل
⁃Descriptive Analytics
⁃Diagnostic Analytics
⁃Predictive Analytics
⁃Prescriptive Analytics
⁃Cognitive Analytics
#علم_البيانات
كذا استفسار يوصلني بخصوص مقابلة محلل البيانات. راح أذكر بعض الأسئلة المتوقعة
ويا ليت اللي عنده إضافة يتفضل.
أنواع تحليل البيانات؟
أنواع الرسوم البيانية Charts؟ والغرض من كل نوع؟
ما هو Data Profiling؟
خطوات تحليل البيانات/ دورة حياة تحليل البيانات؟
خطوات تنظيف ومعالجة البيانات؟
سأتحدث عن ال Data warehouse من حيث المفاهيم الأساسية في عدة نقاط
⁃التعريف والخصائص
⁃الفرق بينها وبين قواعد البيانات
⁃الفرق بين OLTP و OLAP
⁃عمليات ال ETL
#علم_البيانات
أغلب المصادر التي ذكرتها في الموضوع السابق للبداية في #علم_البيانات كانت بالإنجليزي. هذه بعض المصادر العربية
طبعا كل موضوع ذكرت أكثر من قناة أختر دورة وحدة فقط حسب المناسب لك
يتكرر على سؤال الشهادة المعتمدة.
إذا عندك خبرة عملية وطبقت على Power BI
ممكن تحضر للشهادة مباشرة من مايكروسوفت بدون دورات.على الرابط
وإذا محتاج تطبق أو يكون تحت إشراف احد، فيه عدد من الدورات المجانية على يوتيوب أو مدفوعة.
للمهتمين في شهادة
Microsoft Certified: Power BI Data Analyst Associate
راح أتكلم عنها من خلال هذه النقاط
نبده عنها
التحضير للاختبار
طريقة الاختبار
التكلفة
وملاحظات عامة
#علم_البيانات
للمهتمين في تعلم الآلة Machine Learning سواءً من التخصصات التقنية أو غيرها
هذي دورة بالعربي تشرح الأساسيات بدون لغة برمجة محددة وهي مناسبة لفهم المجال
بعدها ممكن تختار لغة مثل بايثون أو R
تقسيم البيانات إلى بيانات تدريب training وتحقق validation و اختبار testing
تعتبر من المفاهيم الأساسية في تعلم الآلة. لكن عدة مرات يتكرر علي هذا السؤال ويذكر بعضهم أنه تكرر عليه في كذا مقابلة.
في هذه التغريدات سأحاول توضيح لماذا نستخدمها والفروق بينهم.
علم البيانات والذكاء الاصطناعي والفرق بينهم؟ التخصصين بينهم تداخل كبير. وكلُّ منهم يحتاج الأخر في حالات. ويمكن أن يعمل أياً منهم بشكل مستقل.
طبعاً ليس هناك أفضلية لتخصص على تخصص. جميعها تخصصات مكملة لبعض.
لكن هنا محاولة لتوضيح بعض الفروق والتداخلات بشكل مختصر
بعض الأساسيات في قواعد البيانات. اللي ممكن تكون أسئلة في المقابلة. طبعاً كل مفهوم فيه تفاصيل.
تعريف قواعد البيانات العلائقية؟
الفرق بين SQL وNoSQL؟
بعض الأمثلة لقواعد بيانات SQL وأمثلة لل NoSQL؟
تعريف ال Record, Field and Table؟
بعض الجامعات التي تقدم ماجستير في #علم_البيانات
سأذكر بعض التفاصيل عن
- الجامعة الإسلامية بالمدينة
- الجامعة السعودية الإلكترونية
- جامعة الأمير سطام
- جامعة الأميرة نورة
- جامعة الطائف
- جامعة المجمعة
- جامعة الملك سعود
- جامعة الملك فهد
- جامعة جدة
- جامعة شقراء
- جامعة طيبة
في الإحصاء وتحليل البيانات الحصول على نتائج مهمة سهلة،بيانات وتطبق خوارزمية عليها.المهم هو فهم البيانات ثم تفسير النتائج
أسئلة بسيطة مثل لماذا استخدم المتوسط وليس الوسيط أو العكس؟
ما فائدة التباين والانحراف المعياري؟
سأحاول شرح هذه المفاهيم وماذا تفيد محلل بيانات
#علم_البيانات
أعتقد فيه خلط بين محلل البيانات Data Analyst و محلل الأعمال Business Analyst. التخصصين بينهم اختلافات وإن كان فيه بعض التشابه في الأدوار.
أيضا ال Business Intelligence Analyst ليس Business Analyst
محلل BI تقريبا يندرج تحت تحليل البيانات ويمارس بشكل بسيط بعض مهام محلل الأعمال.
علم البيانات والذكاء الاصطناعي والفرق بينهم؟ التخصصين بينهم تداخل كبير. وكلاً منهم يحتاج الأخر في حالات. ويمكن أن يعمل كلاً منهم بشكل مستقل.
طبعاً ليس هناك أفضلية لتخصص على تخصص. جميعها تخصصات مكملة لبعض.
لكن هنا محاولة لتوضيح بعض الفروق والتداخلات
معظم الجهات تعتمد على قواعد البيانات العلائقية Relational والمبنية على Fixed Schema بمعنى الإعتماد على حقول أو أعمدة مجهزة مسبقاً. هذا أحد الأسباب التي دعت لظهور NoSQL database وهذا موضوعنا في هذه التغريدات
#علم_البيانات
في مشاريع تحليل البيانات يوجد عدة منهجيات Methodology أو إطار عمل Framework
مثل:
⁃CRISP-DM
⁃DELTA framework
⁃SEMMA
في هذه التغريدات عن
Dell Data Analytics Lifecycle
هذه المنهجية مُرتبة وتوضح تفاصيل دقيقة لكل مرحلة والخطوات التابعة لها.
#علم_البيانات
في ال Power BI قد تحتاج أحياناً أن تعرض البيانات حسب اسم المستخدم بمعنى لو المستخدم A هو الذي يستعرض ال dashboard تظهر له بيانات مختلفة عن المستخدم B
وهذي تناسب العرض حسب للفروع والمدن وغيرها.
هذا شرح لل Manage Roles
من وجهة نظري قبل تتعلم بايثون لتحليل البيانات يفضل أن تبدأ بأساسيات Python
بعض الجهات تستخدم بايثون في معالجة البيانات ونقلها من عدة مصادر لمصدر واحد.وهذا ممكن تتعلمه من أساسيات بايثون
بعض الدورات بالعربي
وصلتني استفسارات عن كيف أبدأ في #علم_البيانات
بحاول أوضح بعض النقاط
حتى تكون متخصص في البيانات تحتاج نقطتين
⁃تكون متقن الأساسيات العلمية للتخصص
⁃تختار دور مناسب لك
في هذي السلسلة بتكلم من وجهة نظري عن ماذا تحتاج حتى تكون متخصص في علم بيانات. طبعاً أي إضافات مُرحب بها
"تخصص في شيء محدد في البيانات"
هذي النصيحة أكررها دائماً. فإذا كنت في بداية اهتمامك بالبيانات شوفها وقيمها وإذا ناسبتك أعمل بها.
البيانات تخصص متشعب، صعب تكون متمكن من كل شيء.لو قلنا بشكل عام عندنا ٤ تخصصات داخلية
إدارة وحوكمة البيانات
محلل البيانات
مهندس البيانات
عالم بيانات
من وجهة نظري وليس بالضرورة تكون صحيحة. بخصوص البداية في #علم_البيانات. يتكرر علي هذا السؤال ومن تخصصات مختلفة.
تحتاج:
⁃تتعلم أساسيات الإحصاء
⁃طرق معالجة وتنظيف البيانات
⁃ال SQL وأساسيات Data Modeling
⁃تتعلم أحد برامج تصوير البيانات مثل Power BI أو Tableau
كتاب خفيف وممتاز لمراجعة مفاهيم تعلم الآلة Machine Learning
الكتاب على شكل أسئلة مقابلة. عبارة عن ٢٢٥ سؤال
مناسب جداً للمراجعة أو التحضير للمقابلات
Cracking The Machine Learning Interview
مفاهيم إدارة وحوكمة البيانات كثيرة ومتداخلة. في هذه التغريدات بنتعرف على بعض نقاط إدارة البيانات Data Management و حوكمة البيانات Data Governance والفرق بينهم.
#علم_البيانات
سلايدات تلخص بعض فصول كتاب إدارة البيانات
DAMA-DMBOK: Data Management Body of Knowledge
تنفع للي يحضر للشهادة
Certified Data Management Professional (CDMP)
هنا
ذكاء الأعمال BI وتنقيب البيانات Data Mining و مستودع البيانات Data Warehouse
هذه مفاهيم قديمة مثلاً أول ورقة تكلمت عن ذكاء الأعمال كتبها Hans Peter Luhn في ١٩٥٨
مع تطور قواعد البيانات في الستينات وظهور مستودعات البيانات في الثمانيات أصبحت هذي المفاهيم أوضح من حيث التطبيق
#علم_البيانات هو عدة علوم متداخلة. لذلك يتأثر كثيراً بمفاهيم الأعمال Business و الإدارة.
فهم مؤشرات قياس الأداء KPIs يساعد في بناء تحليلات ولوحات معلومات dashboard قوية و مفيدة في دعم القرار
هذه دورة جميلة في ال KPIs
في ال Power BI تقدر تصمم و تضيف ال Visuals الخاصة بك.
ممكن يكون بشكل مبسط بدون code
أو تبني visuals بتفاصيل أكثر ويكون dynamic، لكن تحتاج node.js و (power bi visuals tools (pbiviz
للمهتمين بتقنيات الذكاء الاصطناعي في المجال الطبي سواءً من التقنيين أو الصحيين. دورات المعلوماتية الحيوية Bioinformatics بتساعد كثير في البدايات بعدها ممكن التوسع في تقنيات الذكاء الاصطناعي
هذه دورة بالعربي
وهذه بعد دورة ممتازة
في ال Power BI إذا ترغب في تغيير لون ال Gauge أو KPI حسب القيمة مثلاً إذا صار ١٠٠٪ مثلا يصير اللون أخضر وإذا أقل من ٥٠٪ يصير أحمر (الصور)
هذا شرح لل Conditional Formatting
في #تعليم_الآلة لا يعني حصول النموذج على دقة ١٠٠٪ أن النموذج مثالي. أحياناً تحتاج إلى تقليل هذا النسبة حتى لا يكون النموذج حافظ للبيانات.
في هذا الموضوع سأتحدث عن Ridge Regression و Lasso Regression
ماذا تعني هذه المفاهيم، الفائدة منها و الفرق بينهم
#علم_البيانات
تحليل وعلم البيانات في نمو مستمر من حيث التقنيات والمهارات والمصادر وهذا يسبب نوع من التشتت.من المهم جداً إختيار دور محدد. في هذه السلسلة سأتحدث عن ٣ أدوار Roles متعلقة بالبيانات
- محلل بيانات Data Analyst
- مهندس بيانات Data Engineer
- عالم بيانات Data Scientist
#علم_البيانات
سألني شخص على الخاص عن أسئلة المقابلة في إدارة وحوكمة البيانات
ذكرت بعض هذه الأسئلة واللي عنده إضافة إن شاء الله تفيده
١- الفرق بين إدارة البيانات وحوكمة البيانات؟
٢- ماهي أهم مبادئ حوكمة البيانات؟
٣- كيف يتم تقييم جودة البيانات؟
٤ كيف تتعامل مع خصوصية وأمن البيانات؟
في #قواعد_البيانات إذا كان عندنا جدول للطلاب فيه
الرقم الجامعي - الاسم - العمر
ويحتوي مليون سجل.
طبعاً الرقم الجامعي هو primary key
لو نفذنا هذه الجُمل
Select * From student where id=10
Select * From student where name=’Ahmad’
عند إنشاء تقارير على ال Power BI ومهم تكون البيانات على السيرفر الخاص بك أو جهة عملك.
ولا ترغب بنشرها على Microsoft Service
ممكن تستخدم Power BI Report Server
بحيث تكون البيانات على السيرفر الخاص بك
عندك خيارين حتى تثبت ال Report Server
١- بشكل مجاني
٢- يكون عندك Product Key
في هذه السلسلة راح أتكلم عن شهادة
Dell EMC Data Science and Big Data Analytics (DEA-7TT2)
نبده عنها
التحضير للاختبار
طريقة الاختبار
التكلفة
وملاحظات عامة
#علم_البيانات
أطلقت مايكروسوفت Microsoft Fabric وهو عبارة عن حل متكامل لتحليل البيانات. حيث يضم
data movement, data lakes, data engineering, data integration, data science, real-time analytics, and business intelligence
أتوقع بيكون منتج مميز
ال Rapidminer من الأدوات الرائعة لتنفيذ نماذج التعلم الآلي Machine Learning بدون كتابة أكواد.
مناسب للتجارب البحثية لسهولة وسرعة التنفيذ. ويحقق نتائج ممتازة.
هذا شرح بالعربي
هذا شرح أخر
في مشاريع تحليل وهندسة البيانات يحصل نقاش دائما عن أفضل الممارسات - وهذا في تخصصات كثيرة-
شخصياً يلفت انتباهي وش يصير خلف الكواليس مثلاً عند نقل البيانات لتحليلها في Power BI هل أفضل نعتمد One Big Table أو Star Schema
هذي مقارنة ممتازة بين الطريقتين
في إدارة البيانات غالباً يكون هناك تداخل بين معمارية البيانات Data Architecture و نمذجة البيانات Data Modeling
ال DM هي عملية عرض البيانات في نموذج بحيث يصف ال entities مثل العميل والطالب والمنتج. وخصائص attributes هذه الكائنات وأيضا العلاقات بينهم relationships
#علم_البيانات
من النقاط المهمة عند بناء لوحة البيانات Dashboard تحديد النوع أو المستوى الموجهة له لوحة البيانات
هذا مقال يشرح ٤ أنواع للوحة البيانات مع أمثلة
- Operational
- Strategic
- Analytical
- Tactical
في مشاريع التعلم العميق وتعلم الآلة كمثال تصنيف الصور قد تكون البيانات غير كافية للحصول على نتائج مُرضية.
يوجد عدة طرق لزيادة البيانات.
من أسهلها في التنفيذ وغالباً تعطي نتائج جيدة
ال Data Augmentation
سؤال ماهو الفرق مع كلمة Data يتكرر علي كثير. مثلا الفرق بين هذي المصطلحات
Data science
Data mining
Data Analysis
Data Analytics
Big Data
Business Intelligence
وعلى مستوى الأدوار
Data Scientist
Data Architect
Data Engineer
Data Analyst
#علم_البيانات
فيه توجه كبير لتطبيق ال AI وتعلم الآلة في مجالات صحية مختلفة مثل Drug Discovery و genome editing والاستفادة من الانواع المختلفة omics data
مواضيع شيقة للأبحاث
Genome editing prediction
Multi omics data integration
Prediction on drug–protein interactions
Drug response prediction
فكرة أن متخصص البيانات لابد أن يتقن كل الأدوار مثل محلل ومهندس بيانات أو مهندس Machine learning وغيرها
أو يتقن معظم التقنيات هذي فكرة غير صحيحة.
ترهق المتخصص و غير مناسبة للجهات
نفس فكرة full stack developer في الأخير يغرق مع كثرة التقنيات والمهارات اللي المفترض يتقنها
تبقى الرياضيات أم العلوم
صعب جداً أنك تفهم كثير من الأوراق العلمية المتعلقة ب تعلم الآلة ML و الذكاء الاصطناعي AI بدون ما يكون عندك أساس قوي في الرياضيات والإحصاء.
أعتقد إعداد متخصص في ال AI يختلف عن باحث في AI
إذا حاب تعمل Real-Time dashboard كما في الصور
تقدر من خلال ال Power BI
طبعاً تحتاج PBI Service
هذا شرح ينقل البيانات من خلال Python إلى Streaming Dataset في PBI Service
قواعد البيانات مجال واسع.التعمق فيه ممتع. فهم التفاصيل الداخلية وكيف تعمل DBMS مهم. هنا شرح مختصر لل Architecture في MySQL مثلا كيف يتم ال Query Parsing ويتم تحويلها إلى Tree وفكرة ال Optimization وكيف يعمل ال storage engine حتى يخزن البيانات على Disk
المصادر
مايكروسوفت تقدم طريقتين للتحضير
⁃Learning paths
⁃ instructor-led
ال Learning paths: ٦ أجزاء مجانية على موقع مايكروسوفت وكل جزء يحتوي modules بداخله عدد من الدروس.
كما في الصورة. ويمكن مشاهدة الدروس على الرابط
إذا بتبني نموذج Model لتصنيف الصور. فيه كذا طريقة لتحميل الصور وتدريب النموذج من خلالها.
إذا تحتاج تحول بيانات الصور (gray) إلى ملف csv (بيكون المودل أسرع)
عملت كود بسيط يحمل الصور ويحولها بشكل سريع. تم تحميل وتحويل تقريبا ١٢٠ الف صورة في أقل من دقيقتين
هذي المقطعين تشرح بالعربي ومن منظور عملي عن Data Engineering Architecture
من بداية فكرة تأسيس ال Data Warehouse والمشاكل اللي ممكن تواجهك والحلول والتحسينات الممكنة
يستحق المشاهدة
يعتبر ال Informatica من أشهر أدوات وبرامج إدارة وحوكمة البيانات ويقدم خيارات في عمليات ال ETL
Extract, Transform and Load
وتعمل عدة جهات في السعودية عليه
هذه دورة ممتازة لتعلم Informatica
نقل التعلم Transfer Learning هو إستخدام نموذج مُدرب مسبقاً pretrained model على ملايين السجلات أو الصور
يمكن إستخدام النموذج مباشرة على بياناتك أو إعادة تدريبه fine tuning حسب ال classes اللي عندك.
هذا شرح ممتاز للحالتين مع تطبيق -دائم شروحاته مميزة-
من الأفضل قبل إنشاء لوحات المعلومات dashboards إنشاء KPIs card هذا يساعد على فهم المتطلبات وتساعد في بناء لوحة المعلومات بشكل فعال
بشكل عام أنا مع تجهيز وثيقة متطلبات قبل بنا ال dashboard
هذا مثال
إذا كان عندك نموذج اونلاين مثلاً Google Form تقدر تعمل له تحليل من خلال ال Power BI
وأيضاً تعمل نموذجين وتتصل فيهم وتسوي علاقات بينهم من خلال PBI
هذا شرح للطريقة
وهذا خيار ثاني scheduled refresh
في جودة البيانات مهم أن نحسب نسبة كل بُعد Dimension حتى تكون قيمة عددية يمكن تتبعها وتحسينها.
بركز على ٤ أبعاد أعتقد فيها تداخل وقريبة من بعض.
١- الاكتمال Completeness
٢- التناسق Consistency
٣- التفرد أو أصالة البيانات Uniqueness
٤- الصلاحية Validity
عمليات ال Extract, Transform and Load هي النقطة الرئيسية في نقل البيانات من المصادر المختلفة إلى
Data Lake or Data warehouse.
برنامج SQL Server Integration Services من أسهل البرامج التي عملت عليها. مرن وسهل التعلم ومناسب للبيانات المتوسطة
بعض الدورات التي تساعدك في تعلمه 👇
بعض الجهات تحاولت تبتعد عن تعقيدات Data Warehouse وتبني قاعدة بيانات معتمدة على ال Materialized view
فيكون حل بديل عن ال ETL
الحقيقة الحل جيد للجهات اللي ما عندها تشعبات في البيانات.
حتى في تلخيص البيانات و aggregation يفيد بشكل كبير، وهذا مهم في ال DW
تعتبر جودة البيانات من العوامل الأساسية لتحقيق النجاح في الاستفادة من البيانات. تتمحور جودة البيانات حول دقة وصحة واكتمال البيانات المستخدمة في العمليات اليومية والبيانات الموجودة
عدد من المقاطع القصيرة تتكلم على جودة البيانات Data Quality
عدد كبير من وظائف مهندس البيانات في لينكدن تطلب:
Informatica
Apache airflow
خصوصا ال ETL pipelines. طبعاً ال Informatica تقدم خدمات كثيرة من ضمنها ETL
هل لاحظتم أدوات أخرى؟
في ال SQL ال Group By تعطي إحصائيات جيدة. لكن أحياناً تحتاج تعرض البيانات بدون تغيير في عدد الصفوف: مثلاً تعرض إجازات الموظفين مع حقل الرصيد المتبقي. فممكن يكون نفس الموظف عنده أكثر من إجازة.
فيه عدد من الحلول من ضمنها
Partition by
هذا مثال لها
مفهوم ال Fragmentation في قواعد البيانات الموزعة distributed databases و big data مهم. بحيث أن توزع البيانات في أماكن مختلفة. مثلاً شركة ولها فروع مختلفة في عدة دول،أحد الحلول Fragmentation بحيث تضع بيانات لكل فرع في خوادم نفس الفرع.
هذا شرح بالعربي
عند تحليل البيانات وإنشاء تقارير و dashboards قد تلاحظ مشاكل في الاداء من حيث البطء في تحديث التقارير.
بعض النصائح لحل هذه المشكلة
Performance issues
#علم_البيانات
#قواعد_البيانات
الانحدار Regression من أول المواضيع التي تُشرح في تعلم الآلة. يُساعد في فهم مفاهيم أخرى مثل neural network و feature selection و optimization
المفهوم سهل لكن له أنواع وحالات مُختلفة كما في الصورة.سأحاول توضيح:
⁃Linear
⁃Model evaluation
⁃Ridge
⁃Lasso
#علم_البيانات
في نماذج تعلم الآلة قد تكون البيانات غير كافية. غالبا يتم استخدام بيانات اصطناعية Synthetic.مثلاً عمل Data Augmentation استخدام التدوير أو التباين وغيرها لعمل صور جديدة.أو استخدام طرق موازنة البيانات مثل SMOTE
هذا مثال لإنشاء عينات بناء على بيانات موجودة
تُقدم Kaggle عدد كبير من مجموعات البيانات Datasets لمن أرد تطوير نماذج في أي مجال.
هذا رابط أفضل ال Datasets في المجال الطبي.
يمكن الاستفادة منها في مشاريع التخرج. أو تطوير ال Github الخاص بك ( وهذا مهم وقد يعتبر ك سجل خبرة)
اختبار الممارسة Practice Test
هذا الموقع المعتمد من مايكرسوفت. يحتوي على ١٧٣ سؤال وتكلفته ٩٩ دولار مدة شهر
موقع ثاني نصحني به
@alioh
الله يعطيه العافية وكان جداً مفيد
في الغالب إذا نمذجة البيانات Data Modeling ممتازة، تحليل البيانات بيكون سهل ومرن. ممكن تأخذ وقت في تجهيزه لكن يستاهل والخطوات اللي بعده غالباً تكون خفيفة.
في هندسة البيانات قد يستخدم Spark لتخزين بيانات لل Data Lake
الورقة التي قدمت Spark
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing
أيضاً Spark مبني فوق Hadoop وهنا بعض الفروق بينهم.
عند نقل البيانات من خلال ETL أحيانا تحتاج فقط تنقل البيانات الجديدة أو اللي صار عليها تحديث. فيه عدد من الحلول تحقق هذا من ضمنها Change Data Capture في ال SSIS
هذا شرح جيد لها
هل أنت مع أن الشخص يكون مركز في مجال محدد أو عنده معرفة في عدة مجالات قريبة من تخصصه.
مثلاً في البيانات يكون مركز على تحليل البيانات أو يقدر يتعامل مع هندسة البيانات و ML وغيرها.
وبنفس الفكرة في Web Dev وغيرها من التخصصات.
هل أفضل يكون T-Shaped Skills؟
بناء استراتيجية البيانات Data Strategy من أول النقاط عند تبني ودعم الاستفادة من البيانات. تشمل الاهداف والرؤية مصادر البيانات وكيف تكون حوكمة وإدارة البيانات، الفرص والتحديات الخ.
يمكن الإطلاع على بعض الأمثلة:
أيضاً
كيف البيانات تخزن وتسترجع من التخزين وتفاصيل Db storage engine
مفاهيم مثل DB ACID و CAP theorem
وتأخذ لو نظرة عن distribution database
وكذلك parallel computing الموجودة في hadoop and spark ولو معلومات بسيطة.
دورات محمد الدسوقي جيدة في الاساسيات وممكن تتعمق أكثر حسب احتياجك
ال Feature Selection
من المفاهيم المهمة في تعلم الآلة. و التي تؤثر في دقة نموذج التنبؤ سواءً في التصنيف Classification أو الإنحدار Regression
هي عدد الخصائص ومدى علاقتها بـ
- Class label
- Regression response
سأذكر في هذا الثريد بعض النقاط الأساسية
#علم_البيانات
#حاسوبيات