Data Engineering - Skalierbare Datenpipelines und Big Data Technologien
Classroom Schulung | Deutsch | Anspruch
Schulungsdauer: 4 Tage Durchführung gesichert
Ziele
In dieser 4-tägigen Schulung "Data Engineering - Skalierbare Datenpipelines und Big Data Technologien" entwickeln Sie fortgeschrittene Fähigkeiten zur Gestaltung und Verwaltung moderner Dateninfrastrukturen. Ziel ist es, Ihnen umfassendes Wissen in der Planung und Implementierung von skalierbaren Datenpipelines, der Arbeit mit Big Data-Technologien und der Anwendung von Best Practices in der Datenintegration und -sicherung zu vermitteln. Durch praktische Übungen und Fallstudien werden Sie in die Lage versetzt, theoretisches Wissen direkt anzuwenden und komplexe Datenprobleme zu lösen.
Zielgruppe
- IT-Fachkräfte und Softwareentwickler
- Data Analysts und Data Scientists
Voraussetzungen
Für eine optimale Teilnahme am Kurs empfehlen wir folgende Vorkenntnisse:
- Grundkenntnisse in Programmierung und Datenbanken sind hilfreich, aber nicht zwingend erforderlich
Agenda
Einführung in Data Engineering
- Überblick über die Rolle des Data Engineers
- Architektur von Datenplattformen
- Unterschiede zwischen Data Engineering und Data Science
Datenmodellierung und Datenbanken
- Entwurf relationaler Datenbanken und Normalisierung
- Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
- Optimierung von Datenbankabfragen und Indexierungstechniken
ETL-Prozesse und Datenpipelines
- Planung und Design von ETL-Prozessen
- Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
- Sicherstellung der Datenqualität und Datenbereinigungstechniken
- Umgang mit inkrementellen Datenverarbeitungen
Skalierbare Datenverarbeitung
- Einführung in Big Data-Technologien wie Hadoop und Spark
- Cluster-Management und verteilte Datenverarbeitungstechniken
- Echtzeitdatenverarbeitung mit Apache Kafka und Flink
- Batch- und Stream-Processing-Architekturen
Cloud-basierte Datenarchitekturen
- Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
- Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
- Sicherheit, Datenschutz und Compliance in der Cloud
Datenintegration und API-Entwicklung
- Datenintegrationstechniken für strukturierte und unstrukturierte Daten
- Entwicklung und Verwaltung von APIs zur Datenbereitstellung
- Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
- Einsatz von Middleware für Datenintegration
Überwachung und Optimierung von Datenpipelines
- Monitoring-Tools und Protokollierungsstrategien
- Performance-Optimierung und Skalierbarkeit
- Fehlertoleranzstrategien und Wiederherstellungskonzepte
- Nutzung von CI/CD-Pipelines in Data Engineering
Fortgeschrittene Themen und Anwendungsbereiche
- Integration von Machine Learning Pipelines
- Datenethik und verantwortungsvolle Datennutzung
- Trends und zukünftige Entwicklungen im Data Engineering
- Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)
Ziele
In dieser 4-tägigen Schulung "Data Engineering - Skalierbare Datenpipelines und Big Data Technologien" entwickeln Sie fortgeschrittene Fähigkeiten zur Gestaltung und Verwaltung moderner Dateninfrastrukturen. Ziel ist es, Ihnen umfassendes Wissen in der Planung und Implementierung von skalierbaren Datenpipelines, der Arbeit mit Big Data-Technologien und der Anwendung von Best Practices in der Datenintegration und -sicherung zu vermitteln. Durch praktische Übungen und Fallstudien werden Sie in die Lage versetzt, theoretisches Wissen direkt anzuwenden und komplexe Datenprobleme zu lösen.
Zielgruppe
- IT-Fachkräfte und Softwareentwickler
- Data Analysts und Data Scientists
Voraussetzungen
Für eine optimale Teilnahme am Kurs empfehlen wir folgende Vorkenntnisse:
- Grundkenntnisse in Programmierung und Datenbanken sind hilfreich, aber nicht zwingend erforderlich
Agenda
Einführung in Data Engineering
- Überblick über die Rolle des Data Engineers
- Architektur von Datenplattformen
- Unterschiede zwischen Data Engineering und Data Science
Datenmodellierung und Datenbanken
- Entwurf relationaler Datenbanken und Normalisierung
- Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
- Optimierung von Datenbankabfragen und Indexierungstechniken
ETL-Prozesse und Datenpipelines
- Planung und Design von ETL-Prozessen
- Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
- Sicherstellung der Datenqualität und Datenbereinigungstechniken
- Umgang mit inkrementellen Datenverarbeitungen
Skalierbare Datenverarbeitung
- Einführung in Big Data-Technologien wie Hadoop und Spark
- Cluster-Management und verteilte Datenverarbeitungstechniken
- Echtzeitdatenverarbeitung mit Apache Kafka und Flink
- Batch- und Stream-Processing-Architekturen
Cloud-basierte Datenarchitekturen
- Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
- Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
- Sicherheit, Datenschutz und Compliance in der Cloud
Datenintegration und API-Entwicklung
- Datenintegrationstechniken für strukturierte und unstrukturierte Daten
- Entwicklung und Verwaltung von APIs zur Datenbereitstellung
- Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
- Einsatz von Middleware für Datenintegration
Überwachung und Optimierung von Datenpipelines
- Monitoring-Tools und Protokollierungsstrategien
- Performance-Optimierung und Skalierbarkeit
- Fehlertoleranzstrategien und Wiederherstellungskonzepte
- Nutzung von CI/CD-Pipelines in Data Engineering
Fortgeschrittene Themen und Anwendungsbereiche
- Integration von Machine Learning Pipelines
- Datenethik und verantwortungsvolle Datennutzung
- Trends und zukünftige Entwicklungen im Data Engineering
- Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)
