Datatransformatie met Dataflow Gen2
Omschrijving
Met Data Factory Dataflow Gen2 (onderdeel van Fabric) kun je eenvoudig data uit de meest diverse bronnen en formaten verkennen, beoordelen op datakwaliteit, ophalen, transformeren en laden in een SQL Database, Azure Data Explorer (Kusto), Fabric Lakehouse, of Fabric Warehouse (SQL Endpoint).
Dataflow Gen2 ondersteunt meer dan 350 verschillende types van data transformatie. Deze kun je veelal via de grafische interface inrichten, maar Data Flows ondersteunt daarnaast ook het gebruik van functies, *custom columns* en rechtstreeks invoeren of aanpassen van de M code in de Advanced Editor.
In deze tweedaagse training kijken we naar de beste manier om je data te importeren, transformeren en laden met behulp van Dataflow Gen2 en M (de taal van Power Query). We werken hands-on met data om queries te maken die meerwaarde hebben voor jouw organisatie.
Deze training is gericht op data-analisten en Data Engineers die hun datatransformatie in Fabric een krachtige en gebruiksvriendelijke plek willen geven. Wellicht herken je je wel in één van de volgende omschrijvingen:
- Je bent al een tijdje op zoek naar een goede ETL-oplossing in de Microsoft-suite. Mapping Data Flows binnen Synapse Pipelines en ADF brachten niet helemaal wat er nodig was; nu ben je op zoek naar een tool die zowel grafisch te bedienen is als een goede code-achterkant heeft (waardoor je functies kunt delen, code kunt hergebruiken, en eenvoudig onderhoud kunt doen).
- Je hebt al een tijdlang rapporten ontwikkeld in Power BI, en kunt daar ook je eigen data inladen. Je komt echter regelmatig bronnen tegen die niet "passen" in Power BI. Je zoekt een manier om deze bronnen goed in te kunnen laden.
Na deze tweedaagse training:
- Begrijp je de opbouw van queries in "M" (de taal van Dataflow Gen2)
- Kun je zelf geavanceerde queries bouwen en weet je de mogelijkheden van de Advanced Editor toe te passen om zelf M te schrijven.
- Leer je hoe je met hulp van parameters niet alleen je queries variabel maakt en incremental loading mogelijk maakt, maar ook hoe je ontwikkeltijd kunt beperken
- Leer je hoe je je queries op de juiste wijze kunt documenteren, zodat je collega's en/of klanten ze later ook begrijpen
Dit doen we zoals je gewend bent bij Wortell Smart Learning: onder begeleiding van een inspirerende trainer met ervaring in de praktijk, met écht goed materiaal, en ruimte om eigen praktijk cases mee te nemen. We gaan dus veel zelf aan de slag. Wil je hier meer over weten? Neem even contact met ons op voor de mogelijkheden!
Voorkennis om de training Datatransformatie met Dataflow Gen2 te volgen
Om de training Datatransformatie met Dataflow Gen2 te kunnen volgen, is het belangrijk om goed thuis te zijn in Power BI. Deze voorkennis kun je bijvoorbeeld opgedaan hebben in de training Power BI: Zelf rapporteren en data analyseren (PL-300 / PL-300T00), of ons leertraject Power BI + DAX.
Als deelnemer is het handig wanneer je toegang hebt tot een Fabric-omgeving waarin je kunt ontwikkelen. Heb je dit niet, geef het dan vooraf aan - wij zorgen dan voor een omgeving waarin je aan de slag kunt.
Onderwerpen
We gaan de diepte in, in theorie en praktijk. Daarbij kijken we naar de volgende onderdelen:
- Plaats van datatransformatie met Dataflow Gen2 in Fabric
- Data sources
-
Data transformations
- Merge
- Append
- AI insights
- custom functions
- columns from examples
- Advanced Editor
- gebruik van Lists, Records en andere datatypes
- Performance tips
- Diagnostische tools
- Data preview mogelijkheden
- Query dependencies
- Staging queries
- Query groepen
- Parameters
- Duplicates en references
- M, Power Query en Dataflow Gen2
Studiemateriaal
In de training Datatransformatie met Dataflow Gen2 gebruiken we materiaal dat we bij Wortell Smart Learning zelf ontwikkeld hebben. Dit is materiaal met veel oefeningen en cases vanuit de praktijk. Wij zorgen ervoor dat je al het benodigde materiaal op tijd ontvangt. Van alle oefeningen is het eindresultaat beschikbaar.
Beschikbare datums
Er zijn momenteel geen geplande datums beschikbaar. Neem contact op voor de mogelijkheden.