Net na de coronapandemie startte Ted in 2022 als Product Manager Machine Learning bij KLM. Nadat de luchtvaartindustrie weer op gang kwam, was er een duidelijke behoefte aan betere operationele besluitvorming. Met zijn achtergrond in Econometrie, Data Science en Data Management nam Ted de uitdaging aan om de ML-workload binnen KLM naar een hoger niveau te tillen. Na twee jaar pandemie waren interne stakeholders niet langer overtuigd van de kwaliteit van de voorspellingen. In deze blog beschrijven we de zes essentiële stappen om Machine Learning wérkelijk impactvol te maken voor managers en business unit owners.

6 Essentiele stappen voor succesvolle Machine Learning implementaties

1. Een Centrale Data Hub: Datalake vs. Datawarehouse

Voordat je betrouwbare ML-modellen bouwt, heb je één enkele bron van waarheid nodig. Bij KLM was er een overvloed van systemen, databases en SQL-modellen die tot inconsistente inzichten leiden. Daarom brachten we alle data uit vluchtinformatie, planningsoverzichten en voorraadbeheer samen in een datawarehouse / lakehouse-architectuur.

• Datalake: optimale flexibiliteit voor ongestructureerde data
• Datawarehouse: hoge performance en gestructureerde rapportages
• Lakehouse: het beste van beide werelden
• Governance & Security: zorg voor duidelijke toegangsrechten en encryptie
• Self-service Analytics: dashboards en query-tools voor business users

Praktijkvoorbeeld: in één kwartaal hebben we alle databronnen gemapped die onze Machine Learning modellen voedden. Onze modellen hebben we opnieuws getraind op nieuwe testdata-sets waardoor onze forecasts 20% nauwkeuriger werden.

2. Alignment: Stakeholders op één lijn

Verschillende teams en externe partners (bijv. Schiphol, cateringservices) hebben hun eigen KPI’s en belangen. Een succesvolle ML-implementatie begint met een heldere stakeholdermapping:

1. Identificeer rollen: data engineers, data scientists, product owners, business sponsors
2. Bepaal KPI’s en verantwoordelijkheden per team
3. Plan maandelijkse alignment-sessies om voortgang en knelpunten te bespreken
4. Richt een lightweight governanceboard op voor snelle besluitvorming
   

KLM-case: dankzij maandelijkse alignment-sessies tussen operations en het ML-team steeg de adoptie onder planners aanzienlijk. Ook termen die voor ons geheel duidelijk waren zoals kwartielen en standaarddeviaties waren niet altijd duidelijk voor eindgebruikers. 

3. De Eindgebruiker Centraal

ML-succes hangt af van daadwerkelijke adoptie. Bij KLM merkten we dat zelfs state-of-the-art modellen niet gebruikt werden doordat planners de uitkomsten wantrouwden.

• User journey: breng alle touchpoints in kaart – van data-invoer tot decision support
• User stories & Prototyping: bouw eenvoudige dashboards en test met daadwerkelijke planners
• KPI’s voor adoptie: meet klikgedrag, acceptatiepercentages en feedbackscores
• Scenarios: seizoenspieken en stakingen vereisen aparte validatie

Insight: hoewel onze modellen 9 van de 10 keer nauwkeuriger waren dan handmatige voorspellingen, bleef de adoptiegraad onder de 60% door onduidelijke communicatie en gebrek aan vertrouwen. Net na de pandemie hadden we veel afwijkingen van vakantiedagen, populaire bestemmingen en hoeveelheden passagiers op peak-momenten. Hierdoor waren onze voorspellingen structureel beter maar ‘black-swan-events’ konden we moeilijker voorspellen en op anticiperen. 

4. Datakwaliteit: De Onmisbare Fundering

“Garbage in, garbage out” geldt dubbel voor ML. Lees- en schrijfproblemen, foutieve timestamps of inconsistente formats kunnen een geavanceerd model direct ondermijnen.

• Kwaliteitsindicatoren: compleetheid, juistheid, consistentie en tijdigheid
• Automatisering: gebruik Great Expectations voor data profiling en DataDog of Prometheus voor monitoring
• Data cleaning & Feature Engineering: structureer workflows in Jupyter-notebooks of Databricks

KLM-casus: door het automatisch detecteren van outliers in crewroosters en voorraaddata verbeterde de nauwkeurigheid van voorspellingen met circa 15%. Ook door pragmatisch afwijkende events (zoals vakanties, feestdagen en actieperiodes) als features mee te geven verbeterde de voorspelbaarheid aanzienlijk.  

5. Proactief Schakelen: Agile & Iteratief Werken

Korte feedbackloops minimaliseren risico en optimaliseren ROI. Bij KLM implementeerden we een MLOps-pijplijn met GitLab CI en Azure ML:

1. Exploratory Data Analysis op een kleine dataset
2. Validatie met eindgebruikers
3. Iteratie: parameters en features bijstellen
4. CI/CD: geautomatiseerde testen, modellifecycle in GitLab CI
5. Pilot release: binnen vier weken live voor passagiersprognoses

6. Een Gezonde Dosis Verstand: Beyond the AI-Hype

Hype kan leiden tot te hoge verwachtingen en onnodige complexiteit:

• Eenvoud vs. complexiteit: kies een lineaire regressie als dat volstaat ipv een deep learning of random forest model. 
• Ethische overwegingen: privacy, bias-detectie (denk aan SHAP en LIME)
• Menselijke expertise: domain knowledge blijft cruciaal

Tip voor managers: beoordeel altijd de kosten-batenanalyse en start eenvoudig. Bouw pas complexere modellen als de businesscase daar om vraagt en als eindgebruikers enthousiast zijn over eerdere producten en modellen. 

Conclusie voor het ontwikkelen van succesvolle Machine Learning & AI projecten

Machine Learning kan operationele processen transformeren, maar alleen met de juiste fundamenten:

1. Bouw een centrale data hub
2. Stem stakeholders nauwkeurig af
3. Zet de eindgebruiker centraal
4. Waarborg datakwaliteit
5. Werk agile en iteratief
6. Gebruik gezond verstand en voorkom overhype

Quick wins: Om te starten met Machine Learning is het handig om te starten met het organiseren van een datahub. Of begin met het ontwikkelen van een Datawarehouse. Start vervolgens een stakeholderworkshop en test met een eerste pilot. Benieuwd naar meer informatie? Vraag een vrijblijvend adviesgesprek aan en laat Ted je helpen met een adviesplan of een data strategie op maat.