Ik volgde de online workshop Data Engineering Foundations op LinkedIn Learning.

De workshop
De workshop duurt 1 uur en 3 minuten en is gegeven door Harshit Tyagi. Harshit Tyagi is een instructeur en mentor. Hij geeft les bij onder andere OpenClassrooms en Coding Ninja. Hij beheert ook een YouTube-kanaal waar hij video’s maakt over Data Science, Python en sollicitatietips.

Data engineer
De workshop gaat over alles wat met data engineering te maken heeft. De workshop introduceert het concept data engineering en vergelijkt een data engineer met een data scientist. De introductie eindigt met het overlopen van verschillende tools die je als data engineer nodig hebt. Na de introductie volgt een onderdeel over databases en dataframes. In het derde deel van de workshop verdiep je je in de verschillende tools die je kan gebruiken.

ETL pipeline
Het laatste en grootste deel van de workshop gaat over de ETL-pijplijn. Tyagi overloopt van waar je data kan halen, en haalt dan data uit een postgreSQL-database. Na een challenge voor het extracten van data volgt het transformeren van data. Ook hier volgt een challenge en uiteindelijk kom je uit bij het laatste deel: data in een database inladen. Als laatste overloop je hoe je een pijplijn kan inplannen met Airflow.

De workshop overloopt alle essentiële functies van een datapijplijn en leert je hoe je die pijplijn kan beheren. De workshop was een goede uitbreiding op de lessen basiskennis Databases.