Datamodellering is een van de belangrijkste onderdelen van informatiemodellering. Een goed datamodel, nauw geïntegreerd met zijn applicaties of systemen, is gemakkelijk te begrijpen, te onderhouden en te veranderen. In dit bericht bespreken we de 15 belangrijkste tips en best practices voor gegevensmodellering .

Het thema van dimensionale datamodellering is eenvoudig. Het gaat om het organiseren van gegevens met een aanpak die gemakkelijk te begrijpen is met nauwkeurige analyse en rapportage. Dit thema is nog steeds van toepassing. Het enige dat veranderd is, is dat het huidige datawarehouse meer toepassingen heeft dan alleen analyse en rapportage.

Datawetenschap , machine learning en data-engineering zijn enkele van de opkomende toepassingen voor big data die zijn opgeslagen in moderne datawarehouses of databanken . Voor deze wijziging hoeven we echter geen geheel nieuwe benadering van gegevensmodellering te ontwikkelen. Sommige tweaks in het ontwerp van gegevensmodellering kunnen voldoen aan de uitgebreide gegevensvereisten van het veel uitgebreide publiek van vandaag.

Zonder een goed datamodel zullen de data en bedrijfsprocessen ongeorganiseerd en ongeorganiseerd zijn. In deze blog zal ik proberen best practices aan te pakken bij het werken met relationele databasemodellen.

1. Begrijp de zakelijke behoeften en vereiste resultaten

Het doel van datamodellering is om een organisatie te helpen beter te werken. Als professional op het gebied van gegevensmodellering is het nauwkeurig vastleggen van de zakelijke vereisten om te weten welke gegevens prioriteit moeten krijgen, verzamelen, opslaan, wijzigen en toegankelijk maken voor gebruikers vaak de belangrijkste uitdaging voor gegevensmodellering.

We raden u dus aan de behoeften volledig te begrijpen door belanghebbenden en gebruikers te vragen naar de resultaten die zij van de gegevens verlangen . Het is beter om uw datasets goed te organiseren met stakeholders en gebruikersaanwijzingen in het achterhoofd.

2. Visualiseer expliciet de te modelleren gegevens en informatie

Het kijken naar ontelbare rijen en kolommen met alfanumerieke records zal waarschijnlijk geen inzichten opleveren. De meeste mensen zijn veel meer ontspannen bij het bekijken van grafische gegevensillustraties die het snel maken om eventuele afwijkingen te zien. Bovendien moeten mensen toegang krijgen tot eenvoudige scherminterfaces met slepen en neerzetten om snel gegevenstabellen te bekijken en te koppelen .

Datavisualisatie helpt u bij het opschonen van datasets om ze stabiel en vrij van fouten te maken. Het helpt u ook bij het identificeren van diverse categorieën gegevensrecords die zijn gekoppeld aan de daadwerkelijke entiteiten om ze te wijzigen en vervolgens eenvoudige velden en indelingen te gebruiken, waardoor het eenvoudig wordt om gegevensbronnen te combineren.

3. Begin met primaire gegevensmodellering en schaal daarna

Datasets kunnen snel complex worden vanwege aspecten als grootte, categorie, structuur, volwassenheidsgraad en querytaal. Door datamodellen klein en bescheiden te houden op het primaire niveau, wordt het eenvoudiger om eventuele problemen of verkeerde afslagen te corrigeren.

Als u zeker weet dat uw voorlopige modellen nauwkeurig en expressief zijn, kunt u meer datasets binnenhalen en discrepanties wegnemen. Het zou helpen als je tools gebruikt die het starten eenvoudig maken, maar die later uitgebreide datamodellen kunnen ondersteunen, zodat je snel talloze databronnen van verschillende fysieke locaties kunt 'mashen'.

4. Splits zakelijke vragen op in dimensies, feiten, filters en volgorde

Als u begrijpt hoe deze vier factoren zakelijke vragen kunnen stellen, helpt dit u met goed georganiseerde datasets bij benaderingen die ze eenvoudiger te beantwoorden maken.

Uw winkelbedrijf heeft bijvoorbeeld winkels op verschillende plaatsen en u wilt de best presterende winkels van de afgelopen 12 maanden vinden.

In dit scenario zouden de feiten de historische verkoopgegevenssets zijn, zouden de afmetingen de product- en winkelsite zijn, is het filter "laatste 12 maanden" en is de volgorde "beste vijf winkels in afnemende volgorde van verkoop".

Door uw datasets goed te organiseren en gebruik te maken van afzonderlijke tabellen voor dimensies en feiten, kunt u de analyse mogelijk maken om de beste verkopers in elke periode te identificeren en zelfs andere vragen over business intelligence nauwkeurig te beantwoorden.

5. Gebruik alleen de gegevens die u nodig heeft in plaats van alle beschikbare gegevens

Computers en software die met grote datasets werken, kunnen al snel problemen krijgen met geheugen en snelheid . In veel scenario's zijn er echter slechts beperkte datasets nodig om zakelijke vragen te beantwoorden.

Bij voorkeur zou u in staat moeten zijn om alleen selectievakjes op de software aan te vinken om aan te geven welke delen van datasets moeten worden gebruikt, zodat u verspilling van gegevensmodellering kunt vermijden en prestatie-uitdagingen kunt vermijden.

6. Maak van tevoren berekeningen om gebruikersverschillen te voorkomen

Een belangrijk doel van datamodellering is om: een enkele versie van de waarheid bouwen, waartegen een divers gebruikersbestand hun zakelijke vragen kan stellen. Hoewel mensen verschillende antwoorden kunnen hebben, mag er geen verschil zijn tussen de oorspronkelijke gegevens of de berekening die is gebruikt om tot de oplossingen en antwoorden te komen.

U hebt bijvoorbeeld een berekening nodig om dagelijkse verkoopinformatie te verzamelen om maandelijkse cijfers te genereren, die u vervolgens kunt matchen om de beste of slechtste maanden te laten zien. In plaats van andere mensen over te laten om hun rekenmachine te bereiken, kunt u problemen omzeilen door deze berekening vooraf in te stellen als een integraal onderdeel van uw gegevensmodelleringsrapport en deze voor verschillende gebruikers toegankelijk te maken op de zakelijke dashboards .

7. Valideer elke fase van uw gegevensmodellering voordat u verder gaat

Het helpt als u elke actie verifieert voordat u naar de volgende fasen van gegevensmodellering gaat. Een attribuut dat de primaire sleutel wordt genoemd, moet bijvoorbeeld worden geselecteerd voor een gegevensset, zodat elk record uitsluitend kan worden gevonden door de waarde van de primaire sleutel in dat specifieke gegevensrecord.

Dezelfde methode kan worden toegepast op een samenvoeging van 2 datasets om te valideren dat de associatie tussen beide een-op-een of een-op-veel is en om veel-op-veel-associaties te vermijden die leiden naar extreem veelzijdige of oncontroleerbare gegevens modellen.

8. Zoek naar verbinding, niet alleen naar correlatie

Gegevensmodellering omvat begeleiding bij de aanpak van de gemodelleerde gegevens. Hoewel het een belangrijke handeling is om gebruikers zelf toegang te geven tot business intelligence, is het ook van vitaal belang dat ze voorkomen dat ze naar verkeerde conclusies trekken.

Bijvoorbeeld als we bedenken dat de verkoop van twee verschillende producten samen lijkt toe te nemen en te dalen. Leidt de verkoop van het ene product de verkoop van het andere, of stijgen ze toevallig en vallen ze samen vanuit een ander aspect, zoals de economie of de weersomstandigheden? Een raadselachtige verbinding en correlatie hier zou de verkeerde richting kunnen richten en dus de middelen verslechteren.

9. Gebruik moderne tools en technieken om de complexe taken uit te voeren

Meer veelzijdige datamodellering kan het programmeren inhouden om datasets te verwerken voordat de analyse begint. Stel echter dat u dergelijke complexe taken kunt beheren met software of een app. In dat geval bevrijdt dit u van de noodzaak om verschillende codeertalen te verkennen en kunt u tijd investeren in andere functies die waardevol zijn voor uw organisatie.

Een expliciete software kan alle verschillende fasen van gegevensextractie, transformatie en het laden van informatie mogelijk maken of automatiseren. U kunt gegevens visueel ophalen zonder dat u hoeft te programmeren. Ook kunnen diverse gegevensbronnen worden samengevoegd met behulp van een interface voor slepen en neerzetten, en u kunt zelfs geautomatiseerd gegevensmodellering uitvoeren met betrekking tot de specifieke zoekcategorie.

10. Zorg dat uw datamodellen vorderen en vooruitgaan

Datamodellen worden nooit in steen gebeiteld omdat databronnen en gebruikersvereisten herhaaldelijk veranderen. Daarom zou het helpen als u hun updates in de loop van de tijd beter plant.

Sla uw datamodellen dus op in een bron die ze eenvoudig toegankelijk maakt voor wijzigingen, en maak gebruik van een datadictionary met de nieuwste inzichten voor het doel en de indeling van elke categorie gegevens die moet worden verwerkt.

12. Controleer en test de uitvoering van uw gegevensanalyse

Test uw analyse-uitvoering zoals u elke andere functionaliteit test die u bouwt en implementeert. Een test moet controleren of het volledige datasetvolume en de gegevens nauwkeurig zijn. Overweeg ook of uw informatie goed gestructureerd is en u in staat stelt een belangrijke statistiek te krijgen.

Bovendien kunt u enkele query's genereren om beter te begrijpen hoe het werkbaar en toepasbaar zou zijn. We raden ook aan om een divers project te bouwen om uw uitvoering en implementatie te testen.

13. Controleer op niet-overeenkomend gegevenstype of categorie

Zorg ervoor dat uw datasets de exacte indeling hebben. Als u een expliciete eigenschap heeft zoals "aantal producten" en u de waarde invoert als "4", kunt u de waarden niet toevoegen om een "totaal aantal producten" te regelen, aangezien het een tekenreeks is.

We raden u aan de door u verzamelde evenementeigenschappen te bekijken en te controleren. Voer een grondige kwaliteitscontrole uit om er zeker van te zijn dat het object het gegevenstype of de categorie heeft die u verwacht.

14. Vermijd het misleiden van uw datasets

We raden u aan om het gebruik van lijsten met objecten te omzeilen. De meeste filters gedragen zich verschillend bij het werken met lijsten. De filters "in" en "eq" zijn significant. Extra filters en analyse zullen geen objectwaarden in een gedetailleerde lijst inschakelen, dus vermijd trucjes met uw datasets.

15. Vermijd het gebruik van lijsten met objecten

Onderzoek een vraag over het modelleren van een activiteit, zoals een winkelwagentransactie die uit meerdere items bestaat. Een mogelijke oplossing is om één orderverzameling te genereren voor elke mogelijke transactiedeal met één evenement. Dit is echter geen definitieve oplossing.

U kunt niet zien wat de meest gekochte producten zijn, omdat ze vastzitten in het winkelwagenlijstobject.

Gebruik geen lijsten met objecten om dit probleem te omzeilen. We stellen voor dat de beste benadering voor het modelleren van winkelwagentransacties is om twee afzonderlijke verzamelingen te genereren en vervolgens de gegevenssets te analyseren.

Best practices voor gegevensmodellering #1: graan

Geef aan in welke mate de gegevens naar verwachting worden opgeslagen. In de meeste scenario's zou de meest voorgestelde korrel de laagste korrel zijn om met gegevensmodellering te beginnen . U kunt vervolgens gegevens wijzigen en combineren om samengevatte inzichten te verkrijgen.

Best practices voor gegevensmodellering #2: naamgeving

Het benoemen van dingen blijft een probleem bij gegevensmodellering . De beste werkwijze is om een naamgevingsschema te selecteren en met hetzelfde vast te houden.

Maak gebruik van schema's voor naamruimte-relaties zoals gegevensbronnen of een bedrijfseenheid. U kunt bijvoorbeeld het marketingschema gebruiken om alle tabellen te bevatten die het meest van toepassing zijn op het marketingteam en het analyseschema om superieure concepten zoals waarde op de langere termijn te huisvesten.

Best practices voor gegevensmodellering #3: materialisatie

Het is een van de meest essentiële tools voor het ontwikkelen van een superieur datamodel. Op deze manier kunt u, als u de relatie als een tabel genereert, alle benodigde berekeningen vooraf berekenen, en uw gebruikersbestand zal snellere responstijden voor query's zien.

Als u uw relatie als een weergave laat zien, krijgt uw gebruikersbestand de nieuwste datasets wanneer ze een query toepassen. De reactietijden zullen echter traag zijn. Afhankelijk van de datawarehousing-techniek en -tools die u gebruikt, kunt u verschillende afwegingen maken op basis van materialisatie.

Datamodellering speelt een cruciale rol bij het ontwerpen van datacenteroplossingen. Het datamodel is de blauwdruk voor de persistente laag in de applicatie. Het is de basis voor het ontwikkelen van Data Access Layer (DAL), business layer en service tier componenten. Bij het ontwikkelen van datacentered bedrijfsapplicaties moet men een robuust datamodel creëren om verbeteringen, migratie naar toekomstige releases en vooral het verbeteren van de prestaties te vergemakkelijken.

Houd rekening met de eisen van de gebruiker, plan en span u in om het datamodel te creëren dat de planning het beste zal helpen. Zodra alle criteria overeenkomen, kunnen u en uw kleine bedrijf of onderneming op ondernemingsniveau verwachten dat uw gegevensmodellering aanzienlijke bedrijfswaarde oplevert.