Data-integratie: welk platform past bij het mkb?

Bijna elk mkb-bedrijf heeft gegevens op meer dan één plek. Orders staan in de webshop en in het ERP. Klanten staan in het CRM, in de boekhouding en in een spreadsheet van de binnendienst. Zolang iemand die gegevens met de hand bij elkaar brengt, werkt het. Tot het bedrijf groeit.

Data-integratie is het antwoord op die versnippering. Het woord wordt alleen voor twee verschillende dingen gebruikt, en wie die door elkaar haalt, kiest het verkeerde platform.

Wat is data-integratie?

IBM omschrijft data-integratie als het combineren en op elkaar afstemmen van gegevens uit meerdere bronnen tot één samenhangend geheel, dat je kunt gebruiken voor analyse, voor de dagelijkse operatie en voor beslissingen.

In gewone woorden: je zorgt dat dezelfde klant, hetzelfde artikel en dezelfde order overal hetzelfde zijn, en dat je ze kunt gebruiken waar je ze nodig hebt. Dat kan op twee momenten:

• Tijdens het werk. Een order uit de webshop staat binnen een paar minuten in het ERP en het WMS. Een gewijzigd adres in het CRM is meteen bekend in de facturatie. Wij noemen dat procesintegratie.
• Achteraf, voor sturing. Gegevens uit verkoop, voorraad en finance komen samen in één bron, zodat een dashboard de marge per klant laat zien zonder dat iemand exports aan elkaar plakt. Dat noemen we analytische integratie.

Beide heten in Google en in offertes "data-integratie". Het helpt om bij elke vraag eerst te bepalen welke van de twee je bedoelt.

Procesintegratie: gegevens tussen systemen, tijdens het werk

Bij procesintegratie gaat het om snelheid en betrouwbaarheid. Een gebeurtenis in het ene systeem start een actie in een ander systeem: een nieuwe order, een betaalde factuur, een afgeronde werkorder.

Het naslagwerk Enterprise Integration Patterns onderscheidt vier manieren waarop applicaties gegevens delen:

• Bestandsuitwisseling: elk systeem maakt bestanden die een ander systeem inleest.
• Een gedeelde database: systemen bewaren de gegevens die ze delen in één gezamenlijke database.
• Rechtstreekse aanroepen: een systeem roept een functie van een ander systeem aan, tegenwoordig meestal via een API.
• Berichten: systemen sturen elkaar berichten via een centraal berichtensysteem.

Bij het mkb zie je vaak een mix van de eerste en de derde: een nachtelijke export hier, een API-koppeling van de webshopbouwer daar. Dat werkt, tot je niet meer weet welke koppeling wat doet. In Middleware of losse koppelingen lees je wanneer het loont om al die stromen via één centrale laag te laten lopen.

Analytische integratie: gegevens bij elkaar, voor rapportage

Bij analytische integratie gaat het om één versie van de waarheid. Gegevens uit verschillende systemen komen samen in een datawarehouse of een datalaag, waar je ze kunt combineren en vergelijken.

De bekendste aanpak is ETL: extract, transform, load. Microsoft beschrijft het in het Azure Architecture Center als een proces dat gegevens uit verschillende bronnen samenvoegt in één gegevensopslag. Tijdens het transformeren worden de gegevens volgens bedrijfsregels aangepast: gefilterd, ontdubbeld, gecontroleerd en samengevoegd.

Bij ELT, extract, load, transform, gebeurt het transformeren pas in de gegevensopslag zelf. Volgens Microsoft is dat het enige verschil met ETL: de plek waar de transformatie plaatsvindt. ELT past vooral als die opslag krachtig genoeg is om het werk zelf te doen, zoals een modern datawarehouse of lakehouse.

Voor een mkb-bedrijf is de keuze tussen ETL en ELT meestal niet de eerste vraag. De eerste vraag is welke cijfers je wilt zien, en uit welke systemen die moeten komen.

Waarom je de twee niet los van elkaar moet zien

Veel bedrijven pakken de twee vormen apart aan. De webshopbouwer maakt de koppeling naar het ERP, en een BI-partner haalt later gegevens uit dezelfde systemen voor een dashboard. Dan ontstaan twee sporen met elk hun eigen regels. Het dashboard rekent omzet anders dan het ERP, en niemand weet welk getal klopt.

Daarom laten we beide vormen bij voorkeur door één integratielaag lopen. Die laag weet al welke gegevens tussen systemen gaan, welke controles erop zitten en welk systeem voor welk gegeven leidend is. Dezelfde gegevens kunnen dan ook gecontroleerd naar een datawarehouse of BI-platform, zodat dashboards draaien op actuele en herleidbare informatie.

Bij visgroothandel Visco bouwden we eerst een centraal integratielandschap in de eigen cloudomgeving, met logging en monitoring. Daarnaast ontwikkelen we een centrale dataomgeving waarin gegevens uit verkoop, logistiek, planning en finance samenkomen. Zo worden datastromen herbruikbare bouwstenen in plaats van losse oplossingen.

Ook bij een universiteit die al haar software verving, deed het integratieplatform beide: de nieuwe systemen synchroniseren, en gegevens uit die systemen samenvoegen en analyseren. Het platform draait in de cloud en is van de universiteit zelf.

Welk data-integratieplatform past bij het mkb?

Zoek je op "data integratie platform", dan vind je vooral grote enterpriseplatforms. Die zijn gebouwd voor organisaties met honderden systemen en een eigen datateam. Voor een mkb-bedrijf met vijf tot vijftien systemen is dat vaak te zwaar: je betaalt voor mogelijkheden die je niet gebruikt, en intern begrijpt niemand het geheel.

Wij kijken naar vijf vragen:

1. Hoeveel stromen lopen er, en hoe diep gaan ze? Een paar eenvoudige standaardkoppelingen vragen geen platform. Veel stromen met eigen bedrijfsregels wel.
2. Moeten de gegevens tijdens het werk kloppen, of alleen in de rapportage? Alleen rapportage kan met een eenvoudiger ETL-oplossing beginnen. Gaat het om orders en voorraad, dan heb je procesintegratie nodig.
3. Wie is eigenaar van de logica? Staan je stromen en regels op het platform van een leverancier, dan bouw je alles opnieuw als je weggaat. In een eigen integratielaag in je eigen cloudomgeving blijven ze van jou.
4. Hoe zie je dat iets misgaat? Een platform zonder centrale logging en meldingen verplaatst het probleem alleen. Je wilt een fout zien voordat een klant belt.
5. Hoe ontwikkelen de kosten zich over vijf jaar? Kijk naar prijzen per connector, per gebruiker of per aantal berichten, en wat dat doet als je groeit.

Voor de meeste mkb-bedrijven komen we uit op een lichte integratielaag in de eigen cloud, die zowel de stromen tussen systemen als de aanvoer naar rapportage regelt. Een iPaaS, een integratieplatform als dienst, kan passen als je veel brede standaardkoppelingen hebt. Het verschil tussen die twee lees je in het artikel over middleware en op de pagina Integraties.

Waar data-integratie in de praktijk misgaat

De techniek is zelden het probleem. Dit zijn de drie dingen die we het vaakst zien:

• Geen leidend systeem per gegeven. Klantgegevens worden zowel in het CRM als in het ERP aangepast. Dan weet de integratie niet welke versie wint, en schuiven fouten heen en weer.
• Verschillende definities. Wat is een actieve klant, en telt een creditnota mee in de omzet? Zolang elke afdeling dat anders bepaalt, levert ook een goed gekoppeld dashboard discussie op.
• Niemand is eigenaar. Een koppeling die door een leverancier is gebouwd en door niemand wordt bewaakt, valt op een dag stil. Dat merk je pas als orders blijven liggen.

Bij Iver was het uitgangspunt daarom dat niet één systeem alles hoeft te doen. Elk systeem kreeg een duidelijke rol, met een geïntegreerde datalaag die informatie uit de verschillende systemen samenbrengt voor rapportage en sturing.

Data-integratie en AI

Wie later AI wil inzetten, heeft data-integratie nodig. Een AI-workflow die een order of een klantvraag beoordeelt, is zo goed als de gegevens waar hij bij kan. Staan die verspreid en spreken ze elkaar tegen, dan doet AI dat ook. Dezelfde integratielaag die je systemen verbindt, is ook de plek waar een AI-workflow veilig in je processen kan meedraaien.

Zo begin je met data-integratie

Begin niet met een platform. Begin met een overzicht:

• welke systemen je hebt, en welke de komende twee jaar veranderen;
• welke gegevens tussen die systemen gaan, en hoe: automatisch, via een export of met de hand;
• welk systeem voor klanten, artikelen, prijzen, orders en voorraad leidend is;
• welke drie cijfers je elke maand wilt zien, en waar die nu vandaan komen.

Met dat overzicht zie je welke stromen het meeste opleveren, en of je vooral procesintegratie, analytische integratie of allebei nodig hebt. Herken je de signalen uit vijf signalen dat je IT-landschap je groei remt, dan is dit een goede eerste stap.

Wil je weten hoe dat er voor jouw bedrijf uitziet? Lees meer over de stap Integraties, of neem contact op voor een analyse van je huidige gegevensstromen.