Leestijd : 2 minuten
Gegevenslabeling stroomlijnen voor machinaal leren: hulpmiddelen en praktische benaderingen die u moet kennen
Dit is een beknopte gids om u te helpen bij het oplossen van het probleem van pijn bij het labelen van gegevens. Het introduceert verschillende tools en praktische benaderingen die u moet kennen om uw proces te stroomlijnen.
Kunstmatige intelligentie en machine learning worden momenteel in bijna elke branche gebruikt.48% van de bedrijvenmaken al in een bepaalde hoedanigheid gebruik van machine learning en data-analyse, terwijl 65% is van plan gebruiken om de besluitvorming te verbeteren. Het biedt tal van voordelen, waaronder machines in staat stellen te leren van gegevens uit het verleden en beslissingen te nemen. Het doet dit door grote hoeveelheden gegevens, gegevensextracties en interpretaties te analyseren. Daarom speelt datalabeling een cruciale rol bij machine learning.
Data labeling is een cruciaal en centraal onderdeel van de data preprocessing workflow voor machine learning. Het structureert de gegevens om ze nuttig en zinvol te maken. Deze gelabelde gegevens worden vervolgens gebruikt om te trainen machine learning-systemen om ‘betekenis’ te ontdekken in verse, pertinent gerelateerde gegevens.
En om u te helpen er een beter begrip van te krijgen, hebben we deze definitieve gids opgesteld. Het behandelt het belang van gegevenslabeling voor machine learning en de tools en benaderingen die u moet kennen.
Wat is gegevenslabeling?
Gegevens labelen voor machine learning is het proces van het toevoegen van doeleigenschappen aan trainingsgegevens en het labelen ervan. Met andere woorden, gegevenslabeling is het proces van het toevoegen van labels aan onbewerkte gegevens zoals teksten, afbeeldingen, video’s en audio. Het wordt zo gedaan dat een machine learning-model begrijpt welke voorspellingen ervan worden verwacht.
Wanneer gegevens zijn “gelabeld” in ML, betekent dit dat het doel, de voorspelling die u wilt dat uw machine learning-model maakt, is gemarkeerd of geannoteerd in de gegevens. Gegevenslabeling is een brede term die verwijst naar een verscheidenheid aan taken, waaronder annotatie, classificatie, gegevenstagging, moderatie, verwerking en transcriptie.
In de context van banken en financiële instellingen helpt datalabeling bijvoorbeeld bij het genereren van bruikbare inzichten met behulp van enorme databases die banken verzamelen. Het helpt hen ook om relevante informatie te identificeren en het risico te beoordelen dat gepaard gaat met het handelen in een bepaalde entiteit.
Waarom gegevenslabeling belangrijk is?
Om data te sorteren en een geschikt trainingsmodel te creëren, hebben ML en deep learning datalabeling nodig. De kwaliteit van het algoritme en het trainingsmodel zijn de enige factoren die AI-systemen beïnvloeden. Dit impliceert dat de kwaliteit en het volume van de aangeleverde data de basis bepalen van een effectief AI-systeem. Dit helpt een AI-model om zijn doelen effectief en naadloos te leren en te bereiken. Gegevenslabeling is ook belangrijk omdat het AI- en ML-algoritmen helpt de omgevingen en situaties in de echte wereld nauwkeurig te begrijpen.
Benaderingen voor gegevenslabels voor machinaal leren
Het labelen van gegevens voor machine learning is een zware onderneming, maar het is een van de belangrijkste stadia van begeleid leren. De gegevensverwerking vereist het in kaart brengen van doeleigenschappen uit historische gegevens door een mens voordat een ML-algoritme ze kan lokaliseren. Daartoe moeten datalabelers nauwgezet zijn, omdat zelfs de kleinste onnauwkeurigheid de kwaliteit van de datasets kan verminderen, wat vervolgens van invloed zal zijn op hoe goed het ML-model in het algemeen presteert.
Er zijn talloze benaderingen die gegevenslabelers kunnen gebruiken om gegevenslabels te realiseren. Het vermogen van een bedrijf om de nodige tijd en kosten voor een project te besteden, hangt af van de complexiteit van het probleem en de trainingsgegevens, de grootte van het data science-team en de gekozen aanpak.
Hier zijn enkele van de beste benaderingen die gegevenslabelers kunnen gebruiken om gegevens te annoteren voor hun voorspellende modellen:
Eigen etikettering
Als uw organisatie over voldoende middelen, personeel en tijd beschikt, is interne etikettering de beste oplossing. Datawetenschappers en data-engineers die in dienst zijn van het bedrijf doen vaak in-house datalabeling, wat het best mogelijke niveau van labeling garandeert. Voor sectoren als verzekeringen of gezondheidszorg is een hoogwaardige etikettering essentieel, en vaak zijn er ontmoetingen nodig met specialisten in aanverwante beroepen.
Het automatiseren van gegevenslabeling met semi-gesuperviseerd leren verhoogt de productiviteit. Bij deze trainingstechniek worden zowel gegevens met als zonder labels gebruikt. Voor initiatieven in een groot aantal sectoren, waaronder financiën, ruimtevaart, gezondheidszorg en energie, is deskundige gegevensbeoordeling doorgaans noodzakelijk. Teams vragen advies aan vakexperts over de grondbeginselen van etikettering. Soms kunnen datasets alleen worden gelabeld door deskundige datawetenschappers of data-engineers van de organisatie.
Voordelen:
Met in-house labeling, ook wel interne labeling genoemd, heeft u volledige controle over de procedure en kunt u betrouwbare bevindingen leveren. Bij het labelen van gegevens is het essentieel om je aan het tijdschema te houden, en het is van onschatbare waarde om de voortgang van het team op elk moment te kunnen volgen om er zeker van te zijn dat ze op schema liggen.
Nadelen:
Een belangrijk nadeel van in-house labeling is hoe langzaam het gaat. Het is waar dat uitstekende dingen tijd kosten, en deze situatie is daar een goed voorbeeld van. Voor datasets van hoge kwaliteit heeft uw team tijd nodig om de gegevens zorgvuldig te classificeren. Dit is natuurlijk alleen van toepassing als uw project te groot is voor uw team om snel te voltooien.
Crowdsourcing
Crowdsourcing verwijst naar de methode van het verzamelen van geannoteerde gegevens met de hulp van een aanzienlijk aantal onafhankelijke contractanten die zijn geregistreerd bij een crowdsourcingplatform. Door dit te doen, elimineren crowdsourcingplatforms de noodzaak en eis om nieuw talent aan te nemen. Daarom worden systemen met tienduizenden geregistreerde data-annotators vaak gebruikt om het werk van het annoteren van een basisdataset te crowdsourcen.
Voordelen:
Crowdsourcing is handig voor gegevenslabelers die grote taken moeten uitvoeren maar zeer weinig tijd hebben. Deze aanpak helpt u snel de gewenste resultaten te behalen en bespaart tijd en geld, omdat deze is uitgerust met krachtige tools voor het taggen van gegevens.
Nadelen:
Crowdsourcing is niet vrijgesteld van de levering van gelabelde gegevens van inconsistente kwaliteit. Om zoveel mogelijk taken uit te voeren op een platform waar het loon van werknemers is gebaseerd op het aantal activiteiten dat ze elke dag uitvoeren, zijn werknemers geneigd taakaanbevelingen te negeren.
Uitbesteden aan Particulier
Outsourcing is een middenweg tussen in-house datalabeling en crowdsourcing, waarbij de taak van data-annotatie wordt gedelegeerd aan een bedrijf of een persoon. De mogelijkheid om de kennis van een persoon over een bepaald onderwerp te evalueren voordat het werk wordt overgedragen, is een voordeel van uitbesteding aan individuen. Voor initiatieven die niet veel geld hebben maar toch hoogwaardige data-annotatie nodig hebben, is deze strategie van het opbouwen van annotatie-datasets ideaal.
Voordelen:
Met deze aanpak krijg je de mogelijkheid om met de freelancers te praten en meer te ontdekken over hun specialisatiegebieden, waardoor je de kennis krijgt die je nodig hebt om een weloverwogen beslissing te nemen over het aannemen van personeel.
Nadelen:
Om freelancers de taken die ze toegewezen krijgen volledig te laten begrijpen, moet u mogelijk uw taakinterface of sjabloon ontwerpen en de tijd nemen om gedetailleerde en nauwkeurige instructies te geven.
Uitbesteden aan bedrijven
U kunt contact opnemen met outsourcingorganisaties die gespecialiseerd zijn in het voorbereiden van trainingsgegevens in plaats van het gebruik van tijdelijke werknemers of een menigte. Er zijn direct beschikbare en gemakkelijk toegankelijke outsourcingbedrijven met een focus op datalabeling voor machine learning. Deze bedrijven bieden u hoogwaardige trainingsgegevens omdat ze goed uitgerust zijn en hooggekwalificeerd personeel gebruiken.
Deze groepen adverteren zichzelf als alternatieven voor crowdsourcing-websites. Bedrijven benadrukken dat hoogwaardige trainingsgegevens worden geleverd door hun gekwalificeerde personeel. Het team dat voor de klant werkt, kan zich dan concentreren op moeilijkere taken. Samenwerken met outsourcingbedrijven is daarom als het hebben van een externe crew voor een tijdje.
Voordelen:
Outsourcing bedrijven en organisaties garanderen dat hun medewerkers hoogwaardige oplossingen kunnen leveren.
Nadelen:
Hoe nuttig deze aanpak ook is, het kan soms duur worden om deze aan te nemen. De meeste bedrijven nemen geen uitsplitsing van de kosten per project op, wat voor u kostbaar kan blijken te zijn.
Synthetische etikettering
Deze methode omvat het produceren van gegevens die, in termen van door een gebruiker gekozen sleutelparameters, sterk lijken op echte gegevens. Bij het labelen van synthetische gegevens worden synthetische gegevens geproduceerd met een generatief model dat is getraind en getest op een initiële gegevensset. Het is mogelijk om synthetische labels te gebruiken bij het ontwikkelen van ML-modellen voor toepassingen die objectherkenning vereisen. Voor moeilijke taken zijn bijvoorbeeld uitgebreide trainingsdatasets en bekwame labelers nodig. Bovendien is het produceren van een gelabelde dataset de ideale keuze, aangezien zo’n grote hoeveelheid arbeid vaak een snelle doorlooptijd heeft.
Er zijn drie soorten generatieve modellen die door synthetische labeling worden gebruikt. Ze zijn als volgt:
- Generatieve vijandige netwerken: Een zero-sum game-framework wordt door GAN-modellen gebruikt om genererende en discriminerende netwerken te combineren. In het laatste geval genereert een generatief netwerk gegevensmonsters. Een discriminerend netwerk (getraind op feitelijke gegevens) probeert daarentegen te bepalen of ze echt zijn (afkomstig van de echte gegevensdistributie) of geproduceerd (afkomstig van de modeldistributie). Het spel gaat door totdat een generatief model genoeg input krijgt om afbeeldingen te maken die identiek zijn aan echte.
- Autoregressieve modellen:Een lineaire combinatie van de eerdere waarden van de variabelen wordt door AR-modellen gebruikt om nieuwe variabelen te produceren. Bij het genereren van afbeeldingen bouwen AR’s elke pixel afzonderlijk op basis van de pixels erboven en links ervan.
- Variatie auto-encoders: Door invoer te coderen en te decoderen, genereren Variational Autoencoders (VAE) nieuwe gegevensmonsters. Een Variational Autoencoder biedt een probabilistische manier om een waarneming in de latente ruimte te beschrijven. Dientengevolge, in plaats van een encoder te creëren die een enkele waarde produceert om elk kenmerk van de latente toestand weer te geven.
Voordelen:
Met synthetische labels worden tijd en geld bespaard, omdat gegevens eenvoudig kunnen worden gemaakt, aangepast en bijgewerkt voor bepaalde activiteiten, en om het model te verbeteren. Bovendien kunnen niet-gevoelige gegevens worden gebruikt door gegevenslabelers zonder dat daarvoor toestemming nodig is.
Nadelen:
Voor deze aanpak is high-performance computing vereist. Er is een hoge computationele bandbreedte nodig voor weergave en verdere modeltraining voor synthetische labels. Second, historical and synthetic data similarity may not always be guaranteed. As a result, ML models developed using this method need to be trained again using actual data.
Data programmering
Menselijke labeling wordt volledig geëlimineerd door dataprogrammering. Deze methode labelt de gegevens met labelfuncties. Voor het trainen van generatieve modellen kan een dataset worden gebruikt die is gemaakt met behulp van dataprogrammeringsmethodologie.
Gegevensprogrammering omvat het schrijven van labelfuncties en scripts die gegevens labelen met behulp van programma’s. Gebruikers erkennen dat de gegenereerde labels mogelijk niet zo nauwkeurig zijn als die geproduceerd door handmatige labeling. Onvoldoende toezicht op definitieve modellen van goede kwaliteit kan echter worden gedaan met behulp van een luidruchtige dataset die door de tool wordt geproduceerd.
Voordelen:
Een data-analyse-engine kan de data automatisch labelen zonder dat er menselijke mankracht voor nodig is.
Nadelen:
De kwaliteit van de dataset en de algehele effectiviteit van het ML-model worden vervolgens aangetast door de neiging van deze benadering om minder nauwkeurige gegevenslabels te produceren.
Voors en tegens van benaderingen voor gegevensetikettering
Datalabeling is een van de belangrijkste stappen in het data science-proces. Het is ook een van de meest vervelende en tijdrovende. Dit zijn de voor- en nadelen van benaderingen voor het labelen van gegevens:
| Nadering | Beschrijving | Voordelen | Nadelen |
| In huis | Een expert binnen het interne data science-team labelt de data. |
|
|
| Synthetische etikettering | Een vorm van gegevenslabeling die wordt gegenereerd door echte gegevens op basis van de standaarden en patronen uit de echte wereld |
|
|
| Crowdsourcing | Gebruik een crowdsourcingplatform met een on-demand personeelsbestand in plaats van een bedrijf dat gegevens labelt |
|
|
| Uitbesteden aan particulieren | Besteed werk uit aan vakbekwame en ervaren freelancers |
|
|
| Uitbesteden aan bedrijven | Besteed labeling uit aan direct beschikbare outsourcingbedrijven die gespecialiseerd zijn in datalabeling voor machine learning |
|
|
| Data programmering | Gegevens labelen door scripts en programma’s te maken om handmatig werk te voorkomen |
|
|
Tools voor het labelen van gegevens
Het genereren van gelabelde gegevens van hoge kwaliteit vereist tijd, moeite en investeringen. Je hebt hulpmiddelen voor het labelen van gegevens nodig als je een machine learning-model maakt om op efficiënte wijze datasets samen te stellen en gegevenscreatie van hoge kwaliteit te garanderen. De hulpmiddelen voor het labelen van gegevens zijn gebruiksvriendelijk, vereisen weinig menselijke tussenkomst en verhogen de productiviteit met behoud van een hoog kwaliteitsniveau.
Er zijn verschillende kant-en-klare labeloplossingen voor desktop- en browsergebruik. U kunt degene kiezen die perfect voor u is en afzien van dure en tijdrovende softwareontwikkeling als de functionaliteit die zij bieden aan uw verwachtingen voldoet.
Labelen van afbeeldingen en video’s
Het proces van het herkennen en benoemen van bepaalde elementen in een afbeelding staat bekend als afbeeldingslabeling. Enkele van de beste tools voor het labelen van afbeeldingen en video’s zijn de volgende:
Annotoir
Annotorious is een JavaScript-annotatiebibliotheek voor afbeeldingen die unieke opmerkingen, notities en tags toevoegt aan een bepaald gebied van een afbeelding. Met de door MIT gelicentieerde tool kunnen opmerkingen en tekeningen worden toegevoegd aan afbeeldingsbestanden van websites. Het doet dit met slechts twee regels nieuwe code. Gebruikers kunnen ook de andere functionaliteiten van de tool verkennen en verschillende annotatieactiviteiten uitvoeren.
Annotorious is flexibel, uitbreidbaar en interoperabel. Voor naadloze webannotatie is de tool gebaseerd op de W3C-standaarden. Hiermee kunt u uw eigen plug-ins en editor-extensies bouwen en formatters schrijven om op regels gebaseerde annotatiestijlen toe te passen. Het kan overal worden geïntegreerd en werkt in de browser zonder afhankelijkheden aan de serverzijde. Met een rijke en overvloedige JavaScript-API kunt u ook aangepaste annotatie-apps maken. Het is gratis te gebruiken.
LabelMe
LabelMe is gemaakt door MIT met behulp van een open-source-indeling en het is een van de meest bekende hulpmiddelen voor het labelen van afbeeldingen op de markt. De veelhoekige methode van labelen is de beste methode. De functionaliteit van de tool wordt vertegenwoordigd door de galerijen Labels en Detectors. De eerste wordt gebruikt voor het verzamelen, taggen en opslaan van foto’s. Dit laatste maakt het trainen van real-time objectdetectoren mogelijk.
De makers van LabelMe waren van plan om tegemoet te komen aan mobiele klanten en ontwikkelden de bijbehorende app. Het is toegankelijk in de App Store.
Luiaard
Sloth is een gratis en veelzijdige tool die helpt bij het annoteren van video- en afbeeldingsbestanden voor gebruik bij onderzoek naar computervisie. Een veelvoorkomende use-case voor Sloth is gezichtsherkenning. U kunt Sloth gebruiken om software te ontwerpen die een persoon kan volgen en nauwkeurig kan identificeren op basis van bewakingscamera’s of om te bepalen of ze al in records zijn opgenomen.
VoTT
Visual Object Tagging Tools is nog een ander krachtig hulpmiddel voor het annoteren van afbeeldingen. VoTT is ontwikkeld door Microsoft en heeft een interactief en gebruiksvriendelijk ontwerp dat het voor gebruikers eenvoudiger maakt om de talrijke bewerkingen en functies van de tool te leren kennen. De tool maakt het voor gebruikers eenvoudig om een project te bouwen zonder zich te verdiepen in de details van de documentatie. Deep learning-methoden worden gebruikt om objecten snel en nauwkeurig te herkennen in VoTT, dat is geïmplementeerd in de schone React-taal. VoTT is toegankelijk als zowel een elektronische app als een webapp.
LabelIMG
LabelIMG is een open-source, gratis applicatie voor het labelen van afbeeldingen die uiterst eenvoudig te installeren is in Windows-besturingssystemen omdat het al ingebouwde binaire bestanden bevat. Het voordeel van deze tool dat het offline is, maakt het labelen van foto’s en het ophalen van opgeslagen afbeeldingen eenvoudiger en sneller. Afgezien daarvan is het een vrij eenvoudige tool zonder geavanceerde functies. Bovendien accepteert het alleen begrenzingsvakken; er worden geen andere labeltechnieken ondersteund.
Naast deze 5 tools kunt u ook RectLabel, ImageTagger, SentiSight, VGG Image Annotator, Supervise.ly, BeaverDam, LabelBox, ImgLab en ViPER-GT verkennen voor het labelen van afbeeldingen en video’s.
Tekst labelen
Bij machine learning is tekstlabeling het proces waarbij tekstbestanden worden geïdentificeerd en een of meer betekenisvolle en informatieve labels worden toegevoegd, zodat het machine learning-model hiervan kan leren. Enkele van de beste hulpmiddelen voor het labelen van tekst zijn:
Tagtog
Tagtog, een tool voor het labelen van tekst met Poolse roots, wordt veel gebruikt om gegevens handmatig of automatisch te labelen. Naast de TagTog-technologie heeft het bedrijf ook een netwerk van goed geïnformeerde medewerkers uit andere branches die bepaalde literatuur kunnen annoteren. TagTogbiedt de keuze tussen het handmatig annoteren van tekst, het inhuren van professionals om hun gegevens te labelen of het gebruik van automatische machine learning-modellen.
LightTag
LightTag is een ideaal hulpmiddel voor het labelen van teksten. Het is ontworpen op basis van de toepassing voor tekstannotatie. Hiermee kunnen gebruikers de kwaliteit van de gegevens controleren en ervoor zorgen dat annotators optimaal presteren.
Bella
Bella is een andere gratis tool die buitengewoon goed werkt. Het is bedoeld om het labelen van tekstgegevens te versnellen en te stroomlijnen. Normaal gesproken moeten experts, voordat ze een model trainen, een dataset die is gelabeld in een CSV-bestand of Google-spreadsheets omzetten in de juiste indeling. Bella is een geweldig alternatief voor spreadsheets en CSV-bestanden vanwege zijn mogelijkheden en gebruiksvriendelijke interface. De belangrijkste componenten van Bella zijn een grafische gebruikersinterface (GUI) en een database-backend voor gelabeld gegevensbeheer.
Dataturks
Dataturks is nog een andere tool die veel wordt gebruikt voor het voorbereiden van trainingsgegevens. Datateams kunnen zijn oplossingen gebruiken om taken uit te voeren, waaronder tekstcategorisering, moderatie, delen van spraak-tagging, benoemde entiteit-identificatie-tagging en samenvatting.
Stanford CoreNLP
CoreNLP is een uitstekende tool voor het labelen van tekstgegevens. Gebruikers kunnen taalkundige annotaties voor tekst genereren met behulp van CoreNLP, zoals token- en zinsgrenzen, numerieke en temporele waarden, woordsoorten, citaatattributies, benoemde entiteiten, afhankelijkheids- en kiesdistrictparses, sentiment, coreferentie en relaties. Arabisch, Frans, Duits, Hongaars, Chinees, Engels, Italiaans en Spaans zijn de acht talen die CoreNLP momenteel ondersteunt.
Audio-labeling
Er zijn woorden en zinnen in een toespraak in een audiobestand die bedoeld zijn voor de luisteraars. Audio-labeling maakt dergelijke zinnen in de audiobestanden herkenbaar voor machines. Enkele van de beste hulpmiddelen voor het labelen van audio zijn:
Superannoteren
SuperAnnotate is een data-annotatieplatform voor audiodata. Het belooft de annotatie-activiteiten minstens drie keer te versnellen. De geavanceerde mogelijkheden, zoals geautomatiseerde voorspellingen, leeroverdracht en gegevens- en kwaliteitsbeheer, maken het een van de beste tools voor het labelen van audiogegevens.
Praat
Praat is een beroemde en veelgebruikte gratis tool voor het annoteren van audiogegevens. Hiermee kunt u bepaalde gebeurtenissen die zich voordoen in de audiostream opnemen en deze tijden annoteren met tekstlabels in een klein, compact TextGrid-bestand. Omdat tekstannotaties aan het audiobestand zijn gekoppeld, maakt deze tool het mogelijk om tegelijkertijd met zowel geluids- als tekstbestanden te werken.
Spraakanalyse
Speechalyzer is een tool waarvan de naam voor zich spreekt. Grote spraakdatasets kunnen handmatig worden verwerkt met behulp van de tool. Ontwikkelaars wijzen erop dat ze vrij snel duizenden audio-opnamen hebben getagd als illustratie van de hoge snelheid van de software.
Laatste afhaalmaaltijden
Datawetenschappers erkennen dat gegevens van hoge kwaliteit het enige zijn dat telt. Dat is de reden waarom elke innovator en datawetenschapper geavanceerde ML-modellen met vasthoudendheid omarmt. Hoewel er veel tools voor het labelen van gegevens op internet zijn, is het een moeilijke uitdaging om de beste te kiezen. Teams die aan datawetenschapsprojecten werken, moeten bepalen welke tool, in termen van totale kosten en mogelijkheden, het meest geschikt is voor een bepaald project.
Gegevenslabelers hebben nieuwe benaderingen ontdekt om de labelprocedure gedeeltelijk te automatiseren en de menselijke labelmethoden te vervangen of te verbeteren. Dat gezegd hebbende, zal de ontwikkeling van effectievere geautomatiseerde procedures voor het labelen van gegevens die minder mensen in dienst hebben en toch hoogwaardige trainingsdatasets voor ML-modellen produceren, in de toekomst cruciaal zijn.
We hopen dat je dit artikel leuk vindt en leert hoe datalabeling een intrinsiek onderdeel is van datawetenschap! Boek een ontdekkingsgesprek voor ons data-engineering diensten vandaag en blijf de concurrentie voor. Maak het eenvoudig en snel.
I write about fintech, data, and everything around it | Assistant Marketing Manager @ Zuci Systems.
Deel deze blog, kies uw platform!
gerelateerde berichten
gerelateerde berichten
gerelateerde berichten
