Synapse Pipelines: Orchestratie en Development
Omschrijving
In deze training "Synapse Pipelines: Orchestratie & Development", gaan we in op zowel het aansturen en ontwikkelen als het inrichten en beheren van Synapse Pipelines binnen het Azure-platform.
Wil je met Synapse Pipelines de orchestratie, data movement en ETL/ELT taken uitvoeren en aansturen in het Azure-platform? In deze training Synapse Pipelines: Orchestratie en Development richten we ons op het stuk orchestratie en data movement.
Met orchestratie bedoelen we hier het aansturen van bronnen, databases en services. Hiermee kunnen we aangeven welke taak wanneer kan worden uitgevoerd.
Daarnaast kijken we naar data movement: het kopiëren van data naar de cloud en binnen de cloud. Hiermee wordt ervoor gezorgd dat data in het juiste formaat (bijv. een SQL-database, of juist Parquet-bestanden) op de juiste plek (bijv. Azure Data Lake Storage, SQL Database of Synapse) komt te staan.
Deze training is bedoeld voor iedereen die verantwoordelijk is voor het aansturen en ontwikkelen van ETL en ELT-processen met Synapse Pipelines in hun organisatie, alsook voor degenen die verantwoordelijk zijn voor de inrichting en het beheer van Synapse Pipelines. Dit kan zijn omdat Synapse Pipelines al wordt gebruikt, of omdat je organisatie bezig is haar data en analytics naar Azure te brengen. Je vindt het belangrijk om goed te begrijpen hoe Synapse Pipelines werkt en wilt daar zelf in kunnen ontwikkelen. Daarnaast wil je ervoor zorgen dat de inrichting solide is en wil je goed begrijpen hoe je efficiënt en veilig gebruik kunt maken van Synapse Pipelines.
Na deze training:
- Begrijp je hoe Synapse Pipelines werkt
- Heb je een overzicht van alle componenten van Synapse Pipelines
- Kun je zelf linked services, datasets, activities en pipelines instellen
- Weet je hoe Synapse Pipelines opgebouwd is
- Kun je Synapse Pipelines veilig inrichten
Dit doen we zoals je gewend bent bij Wortell Smart Learning: onder begeleiding van een inspirerende trainer, gebruikmakend van écht goed materiaal, en heel praktijkgericht. We gaan dus veel zelf aan de slag.
Voorkennis om de training Synapse Pipelines te volgen
De training is laagdrempelig en kan gevolgd worden als je een basis in SQL hebt. Wel moet je al enigszins thuis zijn in Azure en Azure DevOps:
- Azure:
- Core Azure Concepts en bekendheid met de Azure Portal zijn belangrijk. Als voorbereiding zou je de gratis e-learning van Microsoft kunnen volgen "Azure Fundamentals part 1: Describe core Azure concepts"
- Het Azure Data Platform is belangrijk. Het onderscheid tussen de verschillende soorten data stores, variaties in soorten data en manieren van verwerken wordt besproken in de ééndaagse training Azure Data Fundamentals (DP-900)
- Azure DevOps is voor het daadwerkelijk ontwikkelen (development) met Synapse Pipelines erg belangrijk, en wordt ingezet voor zowel het versiebeheer als Continuous Integration en Continuous Delivery (CI/CD) in Synapse Pipelines.
- Wanneer je geen ervaring hebt met Azure DevOps (of minimaal met Git en een andere CI/CD-tool) kun je de training wel volgen, maar zullen sommige onderdelen wat lastiger zijn.
- Wil je ook aan de slag met Azure DevOps? Kijk eens bij onze training CI/CD met Azure DevOps voor Data Engineers.
Onderwerpen
Gedurende de dag zullen we de basis van het werken met Synapse Pipelines leggen en de volgende onderwerpen trainen:
- Opbouw van Synapse Pipelines
- Orchestratie en Data Movement in Synapse Pipelines
- Ontwikkelen in Synapse Pipelines
- Inrichten en beheren van Synapse Pipelines
- Linked Services, Datasets, Activities en Pipelines in Synapse Pipelines
- Private Endpoints in Synapse Pipelines
- Omgaan met triggers
- Synapse Pipelines in Git
- Geavanceerde workflows met dynamic schema en inferred data types
- Monitoring en Logging
- Billing en kosten
Studiemateriaal
In de training "Synapse Pipelines: Inrichting en Beheer" gebruiken we materiaal dat we bij Wortell Smart Learning zelf ontwikkeld hebben. Wij zorgen ervoor dat je al het benodigde materiaal op tijd ontvangt.
Beschikbare datums
Er zijn momenteel geen geplande datums beschikbaar. Neem contact op voor de mogelijkheden.