Functieomschrijving

Achtergrond opdracht

De wereld verandert elke dag en wij veranderen mee. Met meer dan 6.000 RVO’ers werken we iedere dag aan morgen. We ondersteunen, adviseren en stimuleren ondernemend Nederland. Nationaal en internationaal, want ons werk stopt niet bij de grens.

Grote uitdagingen: We helpen ondernemers en organisaties met innoveren en verduurzamen. Samen werken we aan:

• De verduurzaming van onze energievoorzieningen.
• Het tegengaan van klimaatverandering.
• Een omslag naar een duurzaam landbouw- en voedselsysteem.
• Een sterke digitale economie.

Het zijn grote uitdagingen, maar wij geloven dat het mogelijk is. Daarom verbinden we ondernemers, overheden en organisaties om te bouwen aan het Nederland van morgen. We doen het samen.

Organisatorische context en cultuur

Kansen voor Nederland, kansen voor jou. Een duurzame, economisch sterke samenleving: daar werken we aan bij de Rijksdienst voor Ondernemend Nederland (RVO). Met nationale en internationale programma’s, van de energietransitie en voedselproductie tot ontwikkelingsprojecten in Afrika. Met voorlichting, advies, financiering, subsidies en hulp bij het vinden van zaken- of kennispartners.

Door slim organiseren en maximaal gebruik van digitale communicatie zorgen we voor een soepele en optimale dienstverlening. Door elkaar op te zoeken en verbindingen te leggen bieden we nieuwe inzichten en mogelijkheden. Voor en achter de schermen zetten 6000 mensen zich in voor een economisch sterk, innovatief en duurzaam Nederland, op verschillende vestigingen in Nederland. Ook voor jou zijn er kansen!

Opdrachtomschrijving

Jouw rol als Cloud/Data Engineer:

• Als Cloud/Data Engineer: Je houdt je bezig met de realisatie van schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, waarbij Databricks een centrale plek inneemt. Je werkt nauw samen met data scientists, ML engineers en business stakeholders aan oplossingen die techniek, beleid en concrete waarde voor Nederland verbinden.
• Data Architectuur & Modellering: Je houdt je bezig met het inrichten van de Medaillon Architectuur (Bronze, Silver, Gold) binnen Databricks. Je bent sterk in het vertalen van complexe business logica naar helder gestructureerde datasets, bij voorkeur volgens Kimball (dimensioneel modelleren), en weet robuuste goud-lagen te bouwen. Het gebruik van Metric Views is je bekend, zodat rapportages en analyses altijd op de juiste dataset steunen.
• Engineering & Transformaties: Je houdt je bezig met het ontwikkelen van robuuste datapijplijnen met PySpark en SQL, en je kent de mogelijkheden van Spark Declarative Pipelines (SDP). Met diepgaande kennis van dbt (data build tool) ontwerp je modulaire en onderhoudbare transformaties.
• Storage & Performance-optimalisatie: Je houdt je bezig met het maximaliseren van de platform-performance. Dat doe je door het inzetten van de juiste Databricks compute clusters en het benutten van schaalmogelijkheden. Je bent goed op de hoogte van optimalisaties binnen Delta Lake, zoals Partitioning, Clustering, Z-Ordering en Liquid Clustering.
• Governance & Security: Je houdt je bezig met het inrichten van de centrale governance via Unity Catalog. Je implementeert RBAC (Role-Based Access Control) en je hanteert data security best practices als standaard bij de bouw van oplossingen.
• Platform & Deployment: Je houdt je bezig met automatisering en ‘Engineering Excellence’ via Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare deployments. Daarnaast ben je vaardig in het instrumenteren, monitoren en debuggen van Databricks jobs, pijplijnen en platformcomponenten.

Profiel

De data engineer heeft niet alleen ervaring met grote data volumes, verschillende dataformaten en uitwisseling van gegevens tussen diverse systemen (ETL), maar ook ervaring met relationele datastructuren. Daarnaast lost de data engineer op zijn tijd productie-issues op en neemt hij regelmatig deel aan projecten voor productontwikkeling. De meest gebruikte methodiek bij het ontwikkelen van softwaresystemen is agile scrum (SAFe).

Functie eisen

Eisen (Knock-out criteria)

• Minimaal 3 jaar aantoonbare ervaring in het ontwerpen en bouwen van een cloud data platform met Databricks op Azure en zorgen voor het integreren, opschonen en beschikbaar maken van data voor business intelligence toepassingen (aantoonbaar middels cv en/of motivatie).
• Minimaal 3 jaar aantoonbare ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor Governance & Security (aantoonbaar middels cv en/of motivatie).
• Minimaal 2 jaar aantoonbare ervaring in het ontwikkelen van robuuste datapijplijnen met PySpark en SQL (aantoonbaar middels cv en/of motivatie).

Functie wensen

Wensen

• Analytisch vermogen: Kan complexe datavraagstukken en businesslogica vertalen naar schaalbare data-oplossingen (Medallion, Kimball) en ziet verbanden tussen brondata, transformaties en eindgebruik.
• Probleemoplossend vermogen: Lost performance-, pipeline- en datakwaliteitsproblemen zelfstandig op en maakt onderbouwde keuzes in tooling (Delta Lake optimalisaties, clustering, etc.).
• Kwaliteitsgerichtheid (Engineering Excellence): Werkt volgens best practices (CI/CD, testing, versioning, IaC) en levert reproduceerbare, onderhoudbare en schaalbare oplossingen.
• Kennis van en ervaring met Backend & SQL/Postgres: Met Django ontwikkel je API’s, implementeer je authenticatie en zorg je voor betrouwbare koppelingen met databases.
• Kennis van en ervaring met Monitoring & MLOps: Zorgen voor goede monitoring en logging (Application Insights, Databricks metrics) en idealiter ervaring met MLOps (model lifecycle management).
• Kennis van en ervaring met Microsoft Azure (o.a. Databricks, Storage, Active Directory en Key Vault).
• Ervaring om data veilig en compliant te beheren (toegangscontrole, encryptie en privacywetgeving).
• Kennis en ervaring met het bouwen, integreren en beheren van betrouwbare en efficiënte data pipelines voor analyse en rapportage.
• Kennis en ervaring met het inrichten van de Medaillon Architectuur (Bronze, Silver, Gold) binnen Databricks.
• Kennis en ervaring met de mogelijkheden van Spark Declarative Pipelines (SDP).
• In staat om complexe data architecturen te ontwerpen en implementeren met focus op schaalbaarheid, security en integratie.

Overige Informatie

Opdracht Details