Data Engineering képzés

A modern Data Engineering munka ma már jóval többet jelent Python kód és SQL lekérdezések írásánál. Egy adatfeldolgozó megoldást verziókezelni, reprodukálható módon futtatni, ütemezni, monitorozni és csapatban fejleszteni is tudni kell. A képzés ezért nemcsak az egyes technológiák használatára, hanem azok összehangolt, projektalapú alkalmazására is fókuszál.

A Data Engineer szerepe kiemelten fontos a modern adatplatformok, Machine Learning és AI rendszerek kialakításában is. Az AI megoldások mögött működő adatbetöltések, feldolgozási folyamatok és automatizált pipeline-ok jelentős része Data Engineering feladat, és a Data Engineer gyakran az AI rendszert kiszolgáló technikai komponensek kialakításában is részt vesz.

A 3 hónapos képzés során a résztvevők egy közepes méretű Data Engineering projektet építenek fel és fejlesztenek tovább, miközben gyakorlatban sajátítják el a Git, Docker és Apache Airflow használatát. A cél, hogy a résztvevők ne csak külön-külön ismerjék meg ezeket az eszközöket, hanem azt is megtanulják, hogyan használhatók együtt egy valósághű adatfeldolgozási folyamatban.

A képzés nem tér ki részletesen a Python, Pandas, SQL és PostgreSQL alapjaira, mivel ezek előzetes ismerete elvárt. Ezeket az eszközöket a résztvevők a projekt megvalósítása során aktívan használják, így a meglévő tudásukat egy összetettebb, Data Engineering szemléletű projektben alkalmazhatják.

A projekt során egy több lépésből álló adatpipeline készül, amely adatokat olvas be, feldolgozza és transzformálja azokat, majd PostgreSQL adatbázisba tölti az eredményt. A fejlesztés Git alapú munkafolyamatban történik, az alkalmazás és a kapcsolódó komponensek Docker konténerekben futnak, az adatpipeline végrehajtását pedig Apache Airflow vezérli.

A gyakorlati feladatokon keresztül a résztvevők megtapasztalják, hogyan épül fel egy strukturált, automatizálható és reprodukálható adatfeldolgozási folyamat. A képzés végére egy olyan összefüggő projektet készítenek el, amely jól szemlélteti a modern Data Engineering munkafolyamat fontosabb lépéseit és eszközeit.

Data Engineering képzés

Data Engineering képzés

Data Engineering képzés tematika

1. modul – Data Engineering projekt és fejlesztői környezet

A projekt felépítése

Fejlesztői projektstruktúra

2. modul – Git alapok és verziókezelés

Verziókezelési alapfogalmak

Git alapműveletek

Git projektkörnyezetben

3. modul – Git branch-ek és csapatmunka

Branch alapú fejlesztés

Merge folyamat

Csapatmunka Git segítségével

4. modul – Data Engineering alkalmazás fejlesztése projektkörnyezetben

Pipeline komponensek kialakítása

Megbízható alkalmazásfejlesztés

Projektfeladat

5. modul – Docker és konténerizáció alapjai

Konténerizáció

Docker használata

Docker Data Engineering környezetben

6. modul – Dockerfile és Python alkalmazások konténerizálása

Dockerfile készítése

Python alkalmazás dockerizálása

Docker image-ek kezelése

7. modul – Docker Compose és többkomponensű alkalmazások

Docker Compose

Docker networking

Persistent storage

8. modul – Apache Airflow és workflow orchestration

Workflow orchestration

Apache Airflow architektúra

Airflow használata

9. modul – Airflow DAG fejlesztés

DAG-ok felépítése

Scheduling

Pipeline orchestration

10. modul – Airflow konfiguráció és production-szerű pipeline-ok

Airflow konfiguráció

Taskok közötti adatátadás

Megbízható workflow-k

11. modul – End-to-end Data Engineering projekt

A teljes rendszer integrációja

Teljes pipeline kialakítása

Fejlesztési workflow

12. modul – Production szemlélet, projektzárás és továbbfejlesztési lehetőségek

Production Data Engineering szemlélet

Fejlesztési folyamatok

Kinek szól

Iratkozz fel hírlevelünkre