Proces, typen en alle te volgen gouden regels voor gegevensmigratie

Gegevensmigratie versus gegevensconversie

Het proces van het overbrengen van gegevens van de ene plaats, het ene formaat en de ene applicatie naar de andere staat bekend als datamigratie. Gegevensconversie daarentegen verwijst naar het proces van het converteren van gegevens tussen verschillende formaten. Gegevensmigratie omvat gegevensprofilering, gegevensvalidatie, gegevensopschoning en een continu proces voor de gegevenskwaliteitsborging van het doelsysteem. Bijgevolg is dataconversie slechts één fase in een langdurig proces.

Gegevensmigratie versus gegevensintegratie

Gegevensmigratie en -integratie hebben een aantal belangrijke verschillen. Om te beginnen is het integreren van data uit talloze externe bronnen een vereiste voor Data Analytics. Migratie daarentegen verwijst naar een proces dat wordt uitgevoerd wanneer nieuwe systemen of opslagmedia in gebruik zijn en bedrijven al hun huidige middelen naar een nieuwe omgeving moeten overbrengen.

Datamigratie en datareplicatie

Wanneer gegevens worden gemigreerd, worden ze verplaatst naar een nieuwe plek en vervolgens wordt de oude database of het oude systeem verlaten. Gegevensreplicatie is het regelmatig kopiëren van gegevens van het ene platform naar het andere, zonder de oorspronkelijke gegevensbron te wissen of weg te gooien. Het proces van het integreren van gegevens kan het repliceren van gegevens inhouden.

Wat zijn de soorten gegevensmigratie?

Er zijn zes veelgebruikte soorten datamigratie. Deze indeling is echter niet strikt. Een bepaald geval van gegevensoverdracht kan bijvoorbeeld zowel betrekking hebben op database- als op cloudmigratie of op hetzelfde moment applicatie- en databasemigratie. Een enkel gegevensmigratieproces kan het volgende omvatten:

1. Opslagmigratie

Het omvat het overbrengen van gegevens van het ene fysieke medium of locatie naar het andere. De vervanging van verouderde opslagapparatuur door modernere, geavanceerdere opslagtechnologie is een veelvoorkomende oorzaak van opslagmigratie. De overgang van papier naar digitaal, van harde schijven (HDD) naar solid-state drives, en van hardwaregebaseerde opslag naar virtuele (cloud)gebaseerde opslag zijn allemaal inbegrepen.

2. Databasemigratie

Databasemigratie verwijst naar het verplaatsen van gegevens van een of meer brondatabases naar een of meer doeldatabases. Dit type migratie kan homogeen zijn bij het upgraden naar de meest recente versie van het databasebeheersysteem (DBMS) of bij het verhuizen naar een nieuwe DBMS-provider. Het kan ook heterogeen zijn als je migreert naar een nieuw DBMS van een andere leverancier (van MySQL naar PostgreSQL of van Oracle naar MS SQL).

3. Applicatiemigratie

Applicatiemigratie verwijst naar het verplaatsen van softwareapplicaties van de ene computeromgeving naar de andere. Dit kan gebeuren als een bedrijf van leverancier van bedrijfssoftware verandert. Als onderdeel van deze migratie moeten gegevens van de ene computeromgeving naar de andere worden verplaatst. Een nieuw applicatieplatform moet mogelijk een ingrijpende transformatie ondergaan vanwege de nieuwe applicatie-interacties die het gevolg zijn van de overdracht.

4. Cloudmigratie

Cloudmigratie verwijst naar wanneer een bedrijf besluit zijn activiteiten te stroomlijnen en te profiteren van een technologie die het mogelijk maakt om overal snel toegang te krijgen tot gegevens. Gegevensmigratie valt onder de overkoepelende categorie van gegevensmigratie in de cloud als het gaat om het overbrengen van gegevens van on-premises locaties naar de cloud of tussen verschillende cloudomgevingen.

5. Migratie van bedrijfsprocessen

Migratie van bedrijfsprocessen verwijst naar wanneer een bedrijf te maken heeft met fusies en overnames, bedrijfsoptimalisatie of reorganisatie. Bedrijfsreorganisatie, optimalisatie en fusies en overnames zijn veelvoorkomende oorzaken van migratie (M&A). Dergelijke bedrijfsfusies zijn nodig om uit te breiden naar nieuwe markten en om het concurrentievermogen te behouden.

6. Migratie van datacenters

Datacentermigratie verwijst naar het verplaatsen van een volledig datacenter met al zijn apparatuur van de ene omgeving naar de andere, hetzij naar een nieuwe fysieke locatie of naar een nieuwe computeromgeving. Het kan gaan om het verplaatsen van huidige hardware, zoals kabels en computers, naar nieuwe locaties, of het kan gaan om het overzetten van alle digitale activa, zoals data en zakelijke applicaties, naar nieuwe servers en opslag.

Planning

De evaluatie van de huidige data-assets en het grondig opstellen van een migratiestrategie zijn de eerste stappen in het ingewikkelde proces van datamigratie. Ze worden verder vereenvoudigd tot:

• Verfijn de reikwijdte: Het belangrijkste doel van deze fase is om alle externe gegevens te verwijderen en de minimale hoeveelheid gegevens vast te stellen die nodig is om het systeem succesvol te laten werken. Hiervoor is een gedetailleerde analyse van de bron- en bestemmingssystemen vereist.
• Beoordeel bron- en doelsystemen: De operationele behoeften van het huidige systeem moeten zorgvuldig worden geëvalueerd, samen met hoe ze kunnen worden aangepast aan de nieuwe omgeving, als onderdeel van een migratiestrategie.
• Stel gegevensstandaarden in: Door gegevensstandaarden vast te stellen, kan uw team probleemgebieden in elke fase van het migratieproces identificeren en onvoorziene problemen tijdens de fase na de migratie voorkomen.
• Schat het budget in en stel realistische tijdlijnen in:Zodra u de reikwijdte heeft verfijnd en de systemen heeft geëvalueerd, wordt het voor u gemakkelijk om de strategie te kiezen, de projectmiddelen in te schatten en tijdschema’s en deadlines op te stellen.

Gegevenscontrole en -profilering

Deze stap onderzoekt en reinigt het hele scala aan gegevens dat moet worden verplaatst. Voorafgaand aan de migratie probeert het potentiële conflicten bloot te leggen, problemen met de gegevenskwaliteit te identificeren en duplicaties en afwijkingen te elimineren. Auditing en profilering zijn tijdrovende en arbeidsintensieve processen. Daarom moeten bij grote projecten automatiseringsoplossingen worden ingezet. Populaire oplossingen zijn onder meer Open Studio voor Data Ladder, Data Quality, Informatica Data Quality, SAS Data Quality en IBM InfoSphere QualityStage.

Reservekopie van gegevens

Technisch gezien is deze fase optioneel. De juiste procedures voor gegevensmigratie raden u echter aan een grondige back-up te maken van het materiaal dat u wilt migreren voordat u de daadwerkelijke conversie uitvoert. Als gevolg hiervan krijgt u een extra beveiligingslaag in het geval van onvoorziene migratiefouten en gegevensverlies.

Migratie ontwerp en uitvoering

Migratieontwerp dicteert het verduidelijken van acceptatiecriteria, het geven van rollen en taken aan leden van het migratieteam en het bieden van migratie- en testprocedures in het migratieontwerp. De hoeveelheid tijd die nodig is om scripts voor ETL-operaties te bouwen of om de juiste automatiseringsoplossingen aan te schaffen, bepaalt hoe lang deze stap zal duren. Het migratieontwerp duurt enkele weken als u alleen de bestaande software die al aanwezig is, hoeft aan te passen. Zo niet, dan kan het enkele maanden duren.

Uitvoering

In deze stap vindt de gegevensmigratie daadwerkelijk plaats. In het geval van de oerknal zal het niet langer dan een paar dagen standhouden. Als alternatief zal de uitvoering aanzienlijk langer duren als gegevens incrementeel worden geleverd, maar zoals we al hebben vastgesteld, is er geen downtime en is de kans op ernstige fouten zeer klein. Zorg er dus voor dat migratie-inspanningen de normale systeembewerkingen niet hinderen als u een gefaseerde strategie hebt gekozen.

Testen

Het is geen afzonderlijke fase, aangezien het testen is geïntegreerd in de ontwerp-, uitvoerings- en postmigratiefasen. Als u gegevens in fasen heeft verplaatst, moet u elke stap evalueren om eventuele problemen te identificeren en deze zo snel mogelijk op te lossen.

Auditing na de migratie

De resultaten moeten worden gecontroleerd bij belangrijke zakelijke gebruikers voordat overgedragen gegevens in productie worden genomen. Deze stap controleert of de informatie correct is overgedragen en vastgelegd. Het is mogelijk om het oude systeem buiten gebruik te stellen na een audit na de migratie.

Gouden regels om te volgen voor datamigratie

Hoewel elk datamigratieproject anders is en obstakels kent, zijn er enkele universele gouden richtlijnen die bedrijven moeten volgen om hun onschatbare data-assets te verplaatsen en tegelijkertijd cruciale vertragingen veilig te vermijden.

• Gebruik datamigratie om problemen met datakwaliteit te identificeren en te corrigeren. Terwijl u data en metadata migreert, stelt u hoge eisen aan verbetering.
• Huur datamigratie-experts in en wijs een gespecialiseerd migratieteam aan om het project te beheren.
• Maak een profiel van alle brongegevens voordat u toewijzingsscripts bouwt.
• Besteed veel tijd aan de ontwerpfase omdat het zo cruciaal is voor de uitkomst van het project.
• Neem de tijd om het oude platform uit te schakelen. Soms mislukt de eerste poging van een gegevensmigratie, waardoor een terugdraaiing en daaropvolgende inspanningen nodig zijn.

Conclusie

Vanwege het toenemende volume en de toenemende complexiteit wordt het steeds uitdagender om gegevens te beheren en te gebruiken ten behoeve van een organisatie. En de cloud is de meest efficiënte en effectieve oplossing die u hebt om de gegevens snel en op grote schaal te beheren. Als u uw systemen aan het upgraden bent, is de overstap naar de cloud en gegevensmigratie aan de orde voor u.

Met beperkte middelen en kennis van datamigratie wordt het opzetten van een efficiënt datamigratieproces een uitdaging voor u. Zuci vereenvoudigt daarentegen alles voor u. Wij helpen u uw bedrijf volledig te transformeren door uw gegevens om te zetten in gegevensgestuurde analyses met onze data-engineering diensten. Start je datamigratie goed door te kijken naar de programma’s die daarbij kunnen helpen.