Hoe het werkt
Hoe geautomatiseerde meertalige ondersteuning de communicatie met klanten verbetert
Ravinaro15 min lezen
Hoe geautomatiseerde meertalige ondersteuning de communicatie met klanten verbetert
Geautomatiseerde meertalige ondersteuning combineert automatische spraakherkenning, realtime taalherkenning en neurale machinevertaling in één verwerkingsketen. Die verwerkt inkomende oproepen en berichten zonder menselijke tussenkomst in de taal van de beller. Een bedrijf koppelt deze verwerkingsketen aan zijn bestaande telefonie- of berichteninfrastructuur. De AI-assistent herkent de taal, bepaalt de bedoeling en antwoordt in dezelfde taal, doorgaans binnen één tot vier seconden van begin tot eind. Voor het midden- en kleinbedrijf betekent dit dat één systeem bellers van over de hele wereld kan helpen, zonder een meertalige receptie te bemannen.
De onderliggende technologie is aanzienlijk verder ontwikkeld. De vertraging bij het herkennen van doorlopende spraak ligt nu tussen 270 ms en 520 ms; machinevertaling voegt daar nog 100 tot 400 ms aan toe. In commerciële toepassingen is een totale ondertitelingsvertraging van één tot vier seconden inmiddels gebruikelijk. Dat is zelfs sneller dan de twee tot zes seconden tussen horen en spreken bij professionele menselijke simultaantolken. Dit artikel legt uit hoe zo'n systeem technisch en operationeel wordt ingezet, van de ontvangst van audio tot het formuleren van een antwoord, met bijzondere aandacht voor de koppelingen die belangrijk zijn voor de communicatie-infrastructuur van mkb-bedrijven.
Hoe ASR en NLP samenwerken in de architectuur van een meertalige chatbot
Automatische spraakherkenning (ASR) zet gesproken woorden om in tekst en vormt de eerste laag van elk spraakgestuurd meertalig systeem. De ASR-module ontvangt een audiostroom, verdeelt die in fonemen en zet die fonemen met behulp van akoestische en taalmodellen om in tekst. In een meertalige omgeving moet de ASR-laag de uitvoer ook voorzien van een taalcode, zodat volgende onderdelen weten welk vertaaltraject ze moeten gebruiken.
Zodra de gesproken woorden in tekst zijn omgezet, neemt natuurlijke-taalverwerking (NLP) het over. NLP-modellen analyseren de tekst om de bedoeling te bepalen, gegevens zoals datums en namen te herkennen en de uiting in te delen in bedrijfsspecifieke categorieën. De NLP-laag vertaalt niet. Die begrijpt. Afhankelijk van de architectuur vindt de vertaling vóór of na de analyse van de bedoeling plaats. Dat onderscheid is belangrijk. Een model voor taalherkenning (LID) is specifiek ontworpen om te herkennen welke taal wordt gesproken en werkt onafhankelijk van vertaalmodules. Het LID-model bepaalt de taal van de invoer. De vertaalmodule zet die om. In systemen die daadwerkelijk worden gebruikt, zijn dit afzonderlijke onderdelen met elk hun eigen prestatiekenmerken.
Voor tekstkanalen zoals de WhatsApp Business API is de ASR-laag niet nodig. Het systeem ontvangt de tekst rechtstreeks, voert taalherkenning uit op de tekenreeks en analyseert vervolgens de bedoeling. Daardoor zijn verwerkingsketens voor berichten aanzienlijk sneller en minder foutgevoelig dan die voor spraak: ze hebben geen last van akoestische problemen zoals achtergrondgeluid, accenten en compressievervormingen.
De gegevensstroom van invoer tot bedoeling
Een meertalige AI-assistent verwerkt elke interactie via een vaste reeks stappen: ontvangst, taalherkenning, normalisatie, vertaling, analyse van de bedoeling en het formuleren van een antwoord. Elke stap veroorzaakt een kleine vertraging. De technische uitdaging is om de totale vertraging binnen de grenzen van een natuurlijk gesprek te houden.
- Ontvangst Het systeem ontvangt een audiostroom (via SIP of VoIP) of een tekstbericht (via een webhook van een berichten-API). Voor doorlopende verwerking wordt audio opgedeeld in fragmenten van 100 tot 300 ms, in plaats van te wachten tot de spreker is uitgesproken.
- Taalherkenning Een LID-model analyseert de eerste paar seconden audio of het eerste bericht en kent een taalcode toe met een betrouwbaarheidsscore. Als die score onder een drempelwaarde daalt, doorgaans rond 70 procent, kan het systeem de beller om bevestiging vragen of terugvallen op een standaardtaal.
- Vertaling en normalisatie De tekst waarvan de taal is vastgesteld, wordt vertaald naar de belangrijkste verwerkingstaal van het systeem. Voor de meeste commerciële NLP-modellen is dat doorgaans Engels. Bij normalisatie worden stopwoorden verwijderd, haperingen gecorrigeerd en notaties voor datums, telefoonnummers en valuta gestandaardiseerd.
- Analyse van de bedoeling De NLP-module deelt de genormaliseerde tekst in volgens vooraf aangeleerde bedoelingen. Een horecabedrijf kan bijvoorbeeld categorieën hebben voor het boeken van een kamer, het controleren van de beschikbaarheid, het aanvragen van een laat vertrek en vragen over het huisdierenbeleid.
- Antwoord formuleren Het systeem stelt een antwoord op in de verwerkingstaal, vertaalt het terug naar de taal van de beller en levert het als tekst of, bij spraakkanalen, als synthetische spraak.
Een volledige uitwisseling via spraak duurt doorgaans één tot vier seconden. Dat valt binnen de tijd die menselijke bellers als een natuurlijk gespreksverloop ervaren. Volgens een technische analyse van Newey AI is deze totale vertraging inmiddels vergelijkbaar met of kleiner dan de vertraging bij professioneel menselijk tolken.
Technologie voor taalherkenning met AI en betrouwbaarheidsscores
Taalherkenning moet snel gebeuren. Het systeem moet een gesprek binnen de eerste twee tot drie seconden naar het juiste verwerkingstraject leiden, nog voordat de beller zijn eerste zin heeft afgemaakt. Daarvoor zijn lichte modellen nodig die zijn geoptimaliseerd voor snelheid in plaats van diepgaande analyse.
Open-sourcebibliotheken voor taalidentificatie (LID) die in de praktijk worden gebruikt, zijn onder meer Vosk, dat vrijwel zonder vertraging reageert en meer dan 20 talen ondersteunt, en Picovoice Bat, dat gesproken talen met een nauwkeurigheid van 93 procent herkent en minder middelen vereist dan alternatieven zoals SpeechBrain. Deze modellen analyseren akoestische kenmerken, zoals de verdeling van fonemen en prosodische patronen, om talen van elkaar te onderscheiden, in plaats van te vertrouwen op een volledige transcriptie.
Uitsplitsing van de vertraging per onderdeel van realtime spraakvertaling
Spraakherkenning (doorlopende verwerking) 270 tot 520 ms Machinevertaling 100 tot 400 ms Vertraging van begin tot eind bij ondertiteling 1 tot 4 s Vertraging tussen horen en spreken bij een menselijke tolk 2 tot 6 s
Bij elke beslissing over taalidentificatie hoort een betrouwbaarheidsscore, waarmee het systeem bepaalt wat er vervolgens gebeurt. Als het model een score boven de drempelwaarde teruggeeft, gaat de verwerking verder in de herkende taal. Bij een lage score valt het systeem terug op een standaardtaal, vraagt het de beller om bevestiging of voert het een tweede identificatie uit op een langer audiofragment. Dit terugvalmechanisme is essentieel voor uitzonderingsgevallen zoals korte uitingen, wisselingen tussen talen of bellers met een accent dat buiten de trainingsgegevens van het model valt.
De specifieke foutpercentages van AI-taaldetectie bij sterke accenten of achtergrondgeluid zijn niet goed gedocumenteerd in openbare vergelijkende tests. Bedrijven die deze systemen inzetten in omgevingen met veel akoestische variatie, moeten ze testen met hun eigen gespreksgegevens in plaats van te vertrouwen op gepubliceerde nauwkeurigheidscijfers die zijn behaald met heldere opnamen.
Vertaling met LLM's in de cloud versus neurale machinevertaling
Bij de keuze van de systeemarchitectuur kan men voor vertaling kiezen tussen grote taalmodellen in de cloud en gespecialiseerde modellen voor neurale machinevertaling (NMT). Beide benaderingen zijn bruikbaar, maar bieden een verschillende afweging tussen snelheid en het vermogen om met context om te gaan.
Vertaling met LLM's in de cloud versus gespecialiseerde NMT-modellen voor de prestaties van realtime vertaal-API's Kenmerk Vertaling met LLM's in de cloud Vooraf getrainde NMT-modellen Vertraging Hoger, vaak 500 ms tot 2 s per verzoek Lager, doorgaans 100 tot 400 ms Contextuele nuance Beter, verwerkt uitdrukkingen en contextwisselingen Beperkt, letterlijkere vertalingen Omgaan met taalwisselingen Goed, kan invoer in meerdere talen verwerken Minder goed, vereist afzonderlijke taaldetectie Kosten per interactie Hoger door prijsstelling op basis van tokens Lager, vooral bij modellen in eigen beheer Flexibiliteit bij implementatie Afhankelijk van API, vereist internetverbinding Kan op eigen locatie of aan de netwerkrand draaien
Voor spraakkanalen waarbij een reactietijd van minder dan een seconde belangrijk is, zijn gespecialiseerde NMT-modellen doorgaans de betere keuze. Ze verwerken sneller en kunnen dicht bij de ASR-engine worden geplaatst om netwerkbelasting te beperken. Voor tekstkanalen zoals WhatsApp, waar een reactietijd van één of twee seconden acceptabel is, kunnen LLM's in de cloud beter omgaan met spreektaal en contextafhankelijke betekenissen. Veel systemen in de praktijk gebruiken een hybride aanpak. NMT verzorgt de eerste, snelle vertaling en verfijning op basis van LLM's verwerkt complexe of dubbelzinnige uitingen.
API-handshake en telefonie-integratie
Een meertalige AI-agent koppelen aan een zakelijk telefoonsysteem of berichtenplatform verloopt via een standaardproces voor de API-handshake. De integratie moet de context behouden, de taal markeren en de interactie naar de juiste verwerkingsketen leiden zonder dat de verbinding wegvalt of vertraging oploopt.
Voor spraakkanalen verloopt het proces doorgaans als volgt. De telefonieaanbieder, zoals Twilio of Vonage, ontvangt een inkomende oproep en stuurt een webhook naar het eindpunt van de AI-agent met gespreksgegevens, waaronder het nummer van de beller, het gekozen nummer en eventuele SIP-headers. De RFC 8373-standaard voor het overeenkomen van een menselijke taal bij realtimecommunicatie beschrijft hoe SIP-headers taallabels kunnen bevatten, zodat de telefonielaag taalinformatie rechtstreeks aan de AI-agent kan doorgeven. De AI-agent bevestigt de webhook, opent een bidirectionele audiostream en begint met de verwerking.
- Binnenkomst van de oproep De telefonieaanbieder ontvangt de inkomende oproep en activeert een webhook naar het ingestelde eindpunt van de AI-agent met gegevens over de beller.
- Sessie-initialisatie De AI-agent antwoordt met verbindingsgegevens en brengt via WebRTC of een protocol voor doorlopende gegevensoverdracht een realtime audioverbinding tot stand.
- Taalmarkering SIP-headers of velden in de webhookgegevens bevatten informatie over de taalvoorkeur. Als er geen taal is opgegeven, bepaalt het LID-model die aan de hand van de audio.
- Audiodoorvoer De telefonieaanbieder stuurt audiofragmenten naar de AI-agent, die ze in realtime verwerkt via de ASR-, LID- en vertaallagen.
- Verzending van antwoorden De AI-agent stuurt gegenereerde spraak of tekstantwoorden terug via de tot stand gebrachte verbinding, waarna de telefonieaanbieder ze doorgeeft aan de beller.
- Beëindiging van de sessie Wanneer het gesprek eindigt, stuurt de AI-agent een laatste webhook met samenvattende gespreksgegevens, waaronder de herkende taal, een transcript van het gesprek en de resultaten van de intentieclassificatie.
Voor berichtenkanalen zoals de WhatsApp Business API is de verbinding eenvoudiger. WhatsApp stuurt voor elk inkomend bericht een webhook naar de AI-agent, die de tekst verwerkt en via de WhatsApp API een antwoord terugstuurt. De taal wordt herkend op basis van de tekstinhoud en er hoeft geen laag voor audioverwerking te worden beheerd. De AI-integratie met WhatsApp volgt hetzelfde webhookpatroon dat de meeste berichtenplatforms gebruiken. Daardoor kunnen bedrijven die al automatische berichtverwerking gebruiken, eenvoudig meerdere talen inzetten op tekstkanalen.
Het behouden van context tussen kanalen is een afzonderlijke technische uitdaging. Als een klant eerst in het Spaans via WhatsApp contact opneemt met het bedrijf en later de telefoonlijn belt, heeft het systeem een gedeeld klantdossier nodig om de taalvoorkeur en gespreksgeschiedenis te bewaren. Hiervoor is doorgaans een CRM-integratie nodig waarbij de AI-agent metagegevens van interacties vastlegt en de telefonielaag dat dossier raadpleegt bij inkomende oproepen.
Dialecten, accenten en wisselen tussen talen
Gesproken taal is in de praktijk grillig. Bellers spreken met regionale accenten, gebruiken dialectwoorden en wisselen vaak midden in een zin van taal. Moderne AI-systemen verwerken deze variaties dankzij een combinatie van diverse trainingsgegevens, adaptieve akoestische modellen en het vermogen van grote taalmodellen om context te begrijpen.
Wisselen tussen talen binnen één uiting is bijzonder lastig voor traditionele vertaalprocessen. Een beller kan bijvoorbeeld zeggen: "I need to cancel my appointment for el martes, can you reschedule?" Het systeem moet beide talen herkennen, het Spaanse gedeelte vertalen en de volledige bedoeling als één verzoek verwerken. NMT-modellen van vóór 2024 konden hier slecht mee overweg en leverden vaak onbegrijpelijke tekst op of herkenden de taal helemaal verkeerd.
Grote taalmodellen die op meertalige tekstverzamelingen zijn getraind, hebben dit aanzienlijk verbeterd. Modellen zoals GPT-4 en vergelijkbare modellen kunnen invoer in meerdere talen verwerken zonder expliciete taalaanduiding, omdat ze tijdens de training genoeg tekst met taalwisselingen hebben gezien om de betekenis over taalgrenzen heen af te leiden. Dit vermogen gaat echter ten koste van de reactiesnelheid. Daarom gebruiken veel systemen in de praktijk nog steeds gespecialiseerde LID en NMT voor de snelle verwerking en zetten ze LLM-verwerking alleen in voor complexe gevallen.
Dialecten en accenten blijven een lastiger probleem. Iemand van het platteland in Yorkshire en iemand uit het centrum van Londen spreken allebei Engels, maar hun spraakpatronen verschillen genoeg om de nauwkeurigheid van ASR te beïnvloeden. Hetzelfde geldt voor Spaanstaligen uit Mexico-Stad en Buenos Aires. De beste manier om dit te ondervangen is het ASR-model te trainen met gegevens over uiteenlopende accenten, maar daarvoor zijn representatieve geluidsopnamen nodig. Bedrijven die meertalige systemen inzetten, moeten de nauwkeurigheid toetsen aan hun eigen bellerspopulatie in plaats van aan gepubliceerde testresultaten, die doorgaans gebaseerd zijn op heldere studio-opnamen.
Culturele nuances en uitdrukkingen vormen een andere uitdaging. Een letterlijke vertaling van "I'm feeling under the weather" levert in de meeste talen onzin op. Vertaling met een LLM in de cloud gaat redelijk goed om met idiomatische uitdrukkingen dankzij het begrip van de context, maar gespecialiseerde NMT-modellen die op parallelle tekstverzamelingen zijn getraind, kunnen ze missen. Bedrijven die actief zijn in markten met grote taalvariatie, doen er goed aan te investeren in gespreksontwerp met lokale trainingsgegevens, waaronder regionale uitdrukkingen en veelvoorkomende zegswijzen van hun bellers.
Sectoren waar meertalige ondersteuning meetbaar resultaat oplevert
Zorgpraktijken in meertalige gemeenschappen hebben baat bij automatische taalondersteuning, omdat patiënten afspraken moeten kunnen maken, symptomen moeten kunnen beschrijven en instructies moeten kunnen krijgen in de taal van hun voorkeur. Een kliniek in Miami of Dubai kan op één dag telefoontjes krijgen in het Engels, Spaans, Haïtiaans Creools en Arabisch. Een receptie bemannen voor al die talen is duur en organisatorisch ingewikkeld. Een AI-agent die in alle vier de talen patiëntgegevens opneemt en afspraken inplant, verlicht de personeelsdruk en maakt de zorg toegankelijker voor patiënten.
Voor juridische dienstverlening gelden vergelijkbare eisen, vooral voor praktijken op het gebied van immigratierecht, familierecht en letselschade die meertalige cliënten bedienen. Nauwkeurige communicatie is hier nog belangrijker en misverstanden kunnen grote gevolgen hebben. AI-systemen in een juridische context moeten zorgvuldig worden afgestemd op precieze terminologie. Bij gevoelige kwesties is het raadzaam om interacties die door AI zijn afgehandeld, door mensen te laten controleren.
Bedrijven in de horeca en toeristische sector, waaronder hotels, touroperators en restaurants op toeristische bestemmingen, krijgen veel meertalige vragen die voorspelbare patronen volgen: reserveringen, annuleringen, vragen over voorzieningen en routebeschrijvingen. Deze interacties lenen zich goed voor NLP-modellen die de bedoeling herkennen, en het volume rechtvaardigt de kosten van invoering. Een hotelreceptie die bellers in hun eigen taal te woord kan staan, ongeacht of er personeel beschikbaar is, zet meer aanvragen om in boekingen.
Voor kleine en middelgrote bedrijven die de zakelijke haalbaarheid beoordelen, gaat het om een vergelijking tussen de kosten van het AI-systeem en de kosten van het aannemen en behouden van twee- of meertalig personeel. De precieze kostenbesparing hangt af van de locatie, de benodigde talen en het aantal telefoongesprekken. Bedrijven moeten daarom de kosten voor hun eigen situatie berekenen. Bij de berekening van de kostenefficiëntie moet worden meegewogen dat het AI-systeem onbeperkt gelijktijdige gesprekken kan afhandelen, iets wat geen enkele menselijke receptionist kan.
Privacy en naleving van regelgeving bij meertalige spraakgegevens
De verwerking van spraakgegevens in verschillende talen brengt verplichtingen op het gebied van privacy en naleving van regelgeving met zich mee, die per rechtsgebied verschillen. In de EU is de AVG van toepassing op elke verwerking van persoonsgegevens, waaronder spraakopnamen en transcripties. Bedrijven moeten ook rekening houden met eisen voor de opslaglocatie van gegevens als hun AI-aanbieder gegevens buiten de regio verwerkt. Specifieke nalevingsvereisten voor meertalige spraakgegevens onder de AVG en in andere regio's zijn in openbare bronnen niet goed gedocumenteerd. Bedrijven doen er daarom goed aan hun juridisch adviseur te raadplegen en vóór ingebruikname hun privacypraktijken voor de AI-receptionist te beoordelen.
In de VS komen daar regels op staatsniveau, zoals de CCPA van Californië, en sectorspecifieke regels, zoals HIPAA voor de gezondheidszorg, bovenop. Spraakgegevens die gezondheidsinformatie bevatten, zijn beschermde gezondheidsgegevens en moeten door het AI-systeem dienovereenkomstig worden behandeld. Dit heeft gevolgen voor welke cloudaanbieders kunnen worden gebruikt, waar gegevens worden opgeslagen en hoe lang transcripties worden bewaard.
Kies in de praktijk een AI-aanbieder die gegevensverwerkingsovereenkomsten aanbiedt die aansluiten op uw wettelijke verplichtingen, stel bewaartermijnen in waarna opnamen en transcripties worden verwijderd, en regel de toegang zo dat alleen bevoegd personeel de gesprekslogboeken kan inzien.
Uw meertalige systeem in gebruik nemen
De ingebruikname van een meertalige AI-receptionist verloopt volgens een vaste reeks stappen: bepaal welke talen u moet ondersteunen op basis van de samenstelling van uw bellers, integreer het systeem met uw telefonie- en berichtendiensten, train het intentiemodel met bedrijfsspecifieke gesprekken en test het met echte gespreksopnamen voordat u live gaat. Het implementatieproces is goed gedocumenteerd en de meeste aanbieders bieden ondersteuning bij de invoering.
Wat u moet controleren voordat u live gaat met meertalige AI-ondersteuning
- Controleer of uw ASR- en LID-modellen de specifieke talen en dialecten ondersteunen die uw bellers daadwerkelijk spreken, en niet alleen de talen die in het reclamemateriaal van de aanbieder staan.
- Test de vertraging van begin tot eind onder de netwerkomstandigheden van uw telefonieaanbieder, aangezien vertragingen in de praktijk groter kunnen zijn dan gepubliceerde meetresultaten aangeven.
- Controleer of uw SIP-headers of webhookgegevens de taalvoorkeur doorgeven aan de AI-assistent voor bellers van wie de taalvoorkeur bekend is.
- Toets uw gegevensverwerkingsovereenkomsten en bewaarbeleid aan de wettelijke vereisten van elke regio waar uw bellers zich bevinden.
- Stel een testprotocol op met opgenomen gesprekken van uw eigen bellers om vóór volledige ingebruikname de nauwkeurigheid van de spraakherkenning en de prestaties van de intentieclassificatie te meten.
Als u klaar bent om meertalige AI-ondersteuning voor uw bedrijf te beoordelen, plan dan nu een gesprek met het team over de talen die u wilt ondersteunen en de manier waarop u het systeem wilt integreren. De technische implementatie is eenvoudig, maar de keuzes bij het instellen van drempelwaarden voor taaldetectie, terugvalgedrag en intentietraining bepalen hoe goed het systeem presteert voor uw specifieke bellers.
Veelgestelde vragen
Hoe werkt geautomatiseerde meertalige ondersteuning?
Deze combineert automatische spraakherkenning, taaldetectie in realtime en neurale machinevertaling in één verwerkingsketen. De AI-assistent herkent de taal van de beller, bepaalt wat die wil en antwoordt binnen één tot vier seconden in dezelfde taal.
Wat is AI-technologie voor taaldetectie?
Dit is een systeem, vaak een model voor taalidentificatie (LID), dat ingevoerde audio of tekst analyseert en er een taal aan toekent met een betrouwbaarheidswaarde. Dit gebeurt binnen de eerste twee tot drie seconden van een gesprek.
Wat is de architectuur van een meertalige chatbot?
Het is een verwerkingsketen waarin gegevens achtereenvolgens worden ontvangen, de taal wordt vastgesteld, de inhoud wordt vertaald, de intentie wordt bepaald en een antwoord wordt gegenereerd. Elke stap veroorzaakt vertraging; het technische doel is om de totale vertraging binnen aanvaardbare grenzen voor een gesprek te houden.
Hoe integreert een API voor vertaling in realtime met bestaande telefoonsystemen?
Bij inkomende gesprekken stuurt de telefonieaanbieder een webhook naar de AI-assistent. De assistent opent een tweerichtingsaudiostream, verwerkt het geluid via spraakherkenning en vertaling en stuurt gegenereerde spraak terug. SIP-headers kunnen gegevens over de taalvoorkeur bevatten.
Hoe gaan geautomatiseerde spraakherkenningssystemen om met accenten?
Ze gebruiken adaptieve akoestische modellen die zijn getraind met spraak met uiteenlopende accenten. De nauwkeurigheid varieert per accent en hangt af van het achtergrondgeluid. Bedrijven kunnen daarom beter testen met hun eigen gespreksgegevens dan afgaan op gepubliceerde meetresultaten op basis van opnamen zonder achtergrondgeluid.
Wat is automatisering van klantcommunicatie voor kleine en middelgrote bedrijven?
Het gaat om het gebruik van AI om inkomende telefoontjes en berichten voor kleine en middelgrote bedrijven af te handelen zonder tussenkomst van medewerkers. Geautomatiseerde meertalige ondersteuning is een toepassing hiervan: daarmee kan één systeem bellers van over de hele wereld te woord staan.
Geschreven door Ravinaro
We bouwen AI-receptionisten, WhatsApp-agenten en boekingsautomatisering voor kleine bedrijven. Heeft dit bericht een vraag opgeroepen over je eigen inrichting, dan geeft een kort gesprek sneller antwoord dan een zoekopdracht.
Lees verder
