Data validatie, wat is dat precies?

In een onderzoek is het belangrijk om een goede set data beschikbaar te hebben. Voor onderzoek door universiteiten of onderzoekbureaus is het noodzakelijk dat data consistent is om een goed fundament te creëren voor analyses en conclusies. Om dit te waarborgen is er: datavalidatie.

Bij InsiteSuite verzamelen we een grote hoeveelheid data die beschikbaar wordt door analyses op het gebied van klimaat, regeltechnisch en elektronisch vlak. Met deze data lossen we problemen op die de klant bij ons meldt of kijken we naar langere trends die zorgen voor verstoringen in het systeem.

Verschillende databronnen

Om in een regelsysteem constant de juiste waardes te krijgen heb je te maken met een zeer divers aanbod van data. Sommige databronnen zijn stabiel qua inhoud, interval en ontsluiting. Anderen zijn dit een stuk minder. Databronnen zijn afhankelijk van een aanbod dat via verschillende verbindingen binnenkomt. Verbindingen waarbij de interval (de momenten waarop data wordt doorgestuurd) kan verschillen of verbindingen wegvallen.

Waar sommige data bijvoorbeeld om het kwartier wordt verstuurd, komt de ander elke minuut binnen. Wanneer je bij een analyse een moment mist of niet goed is, wordt een set data direct minder betrouwbaar.

Valideren van data

Validatie is dus belangrijk om goede, bruikbare data op te halen. Het gebruiken van incorrecte data leidt tot onbetrouwbare analyses en conclusies. Een situatie die je wilt voorkomen.

In de software van InsiteSuite hebben we een systeem om alle gevalideerde data te rapporteren. Dit systeem controleert of de data voldoet aan de door ons gestelde eisen en geeft een melding wanneer de verzamelde data afwijkt. We kijken naar de hoeveelheid berichten, de minimale en maximale waardes en de mogelijke fout dat een datapunt steeds dezelfde waarde geeft. Deze rapporteren worden periodiek verzonden of direct bij een belangrijke fout.

Wanneer er een afwijkende waardes worden gemeten worden de datapunten uitgesloten van de berekening of worden deze omgezet naar de juiste waarde.