Door Thibaut De Vylder, CEO van dFakto
We hebben de oorsprong en de beperkingen gezien van de benaderingen waaruit data-vaulting is voortgekomen.
Data-vaulting is een techniek, een methodologie en een aanpak: de 3 samen. Het is veel meer dan een eenvoudige tool: het vertegenwoordigt een trend in de gegevensmodellering van een organisatie, particulier of openbaar.
Uitgevonden en voortdurend bijgewerkt door Dan Linsted, breidt data-vaulting nu zijn toepassingsgebied uit. Aanvankelijk bedoeld om zware en onafhankelijke datawarehouses met elkaar te verbinden, heeft Dfakto kunnen aantonen dat het toepassingspotentieel veel verder gaat dan deze grote toepassingen door het al meer dan 10 jaar te gebruiken voor kleinere opdrachten om heterogene bronnen met elkaar te verbinden.
different data models and architectures
Laten we voor elk datawarehouse-model (Enterprise DW, Dimensional Design en Data-Vaulting) een voorstelling maken waarin de verwerkingsruimten en/of gegevensopslag worden voorgesteld door zwarte balkjes, om een datawarehouse te bouwen dat wordt gevoed door 3 bronnen en informatie verschaft aan 3 groepen gebruikers:
|
Entreprise Data Warehouse |
Dimensional Design |
Data Vaulting |
| 2 gekoppelde processen: centralisatie en restitutie | Een reeks ETL-processen die gebaseerd zijn op dezelfde gegevens en onderling afhankelijk zijn (voorbeeld: dezelfde verrijkingen in 2 ETL’s. Wat gebeurt er wanneer een verrijking moet worden bijgewerkt?) | 3 families van onafhankelijke processen
|
| Lange opstarttijd | Snelle opstart
Zwaar onderhoud Langetermijnconsistentie |
Snelle opstart
Licht onderhoud |
| De verplichting om hetzelfde team in te zetten voor beide processen | Complexiteit van de ETL
→ Beperkte middelen |
3 onafhankelijke processen → Teams kunnen parallel werken (of elkaar zelfs niet eens kennen!) |
| Opleiding en expertise beschikbaar op de markt | Voorkennis van de concepten is niet vereist. Iedereen kan een basis-ETL programmeren! | Noodzakelijk begrip van Data-vaulting-concepten |
| Schaalbaarheid | Schaalbaarheid | Ontworpen om te evolueren |
| Het model respecteert de 3e normale vorm, gebruikt in de IT | Geen model en dus geen beperkingen | Een model dat de neiging heeft tabellen toe te voegen waarin gegevens worden opgeslagen en verrijkt, waardoor de schijn van complexiteit wordt gewekt. |
feilloze naleving van eenvoudige regels.
Soms is het verleidelijk om een kortere weg te kiezen en de basisregels naast zich neer te leggen Uit dFakto’s 10 jaar ervaring met het implementeren van Data-Vaulting hebben we geleerd dat in elk geval waar we de regels niet hebben gevolgd, we er achteraf voor hebben betaald en de installatie opnieuw hebben moeten afstemmen op de basisprincipes.
data-faulting
Ook hebben sommige klanten en prospects die we de afgelopen 10 jaar hebben ontmoet, ons implementaties van data-vaulting laten zien… die er geen waren. Naast de theorie raad ik aan – vooral voor de eerste implementaties – om te werken met consultants die (1) uw bedrijfstaal spreken, (2) data-vaulting al hebben geïmplementeerd en u een echte implementatie kunnen tonen van een op data-vaulting gebaseerde oplossing die daadwerkelijk wordt gebruikt door klanten die kunnen getuigen van hun ervaring en (3) bij wie u zich op uw gemak voelt.