Nederlandse sprekerherkenning met meerdere kanalen: stemmen uit elkaar houden, ook als ze op elkaar lijken
Een nieuw model voor wie wanneer spreekt, gebouwd voor Nederlands, dat stereo en meerdere microfoons gebruikt in plaats van ze weg te gooien
De lastigste opname voor sprekerherkenning is niet een vergadering met tien mensen. Het is een gesprek tussen twee collega's van dezelfde leeftijd, allebei vrouw, allebei uit dezelfde regio. Een model dat sprekers uit elkaar houdt op klank en toonhoogte, ziet daar twee keer bijna dezelfde stem. Het resultaat ken je misschien: een transcript waarin de halve vergadering aan één persoon wordt toegeschreven, of waarin iemand halverwege een zin van naam wisselt.
Je kunt dat proberen op te lossen met een groter model dat nog fijnere verschillen in een stem leert horen. Ik heb voor de andere kant gekozen.
Maak het probleem kleiner, niet de oplossing groter
Bij veel opnames is de informatie over wie er praat er al. Een telefoongesprek wordt vaak in stereo opgenomen: de ene kant links, de andere rechts. Bij een podcast of interview heeft elke spreker een eigen microfoon. En in een online vergadering krijgt de computer van elke deelnemer een apart geluidsspoor binnen.
Tot nu toe gooiden de meeste systemen, Murmel inbegrepen, die informatie meteen weg: alles werd tot één monospoor gemengd, en daarna moest een model het weer uit elkaar halen. Dat is een moeilijk probleem dat je zelf hebt gemaakt.
Het nieuwe model houdt de kanalen apart. De vraag "welke van deze twee bijna gelijke stemmen is dit?" wordt dan vaak een veel simpelere vraag: "op welke microfoon klinkt dit het hardst?" Pas als dat niet genoeg is, bijvoorbeeld omdat twee mensen dezelfde microfoon delen, komt de stem zelf aan bod.
Opstellingen die het model begrijpt
Een kanaal mag één spreker bevatten of meerdere, en er mogen meer mensen in de opname zitten dan er kanalen zijn. Het model gebruikt tot vier kanalen. Hieronder de opstellingen die het vaakst voorkomen. In elke tekening zie je links wie er waar zit, in het midden wat er op elk kanaal binnenkomt (gekleurd naar wie er praat, vaag als iemand van verder weg wordt opgevangen), en onderaan wat Murmel ervan maakt.
Online vergadering met de notulist
Als je de Murmel-notulist naar een Google Meet, Teams of Zoom stuurt, neemt die sinds vandaag in stereo op. Elke deelnemer komt binnen als een eigen spoor, en de notulist verdeelt ze over links en rechts. Twee mensen die op elkaar lijken, zitten zo meestal op een ander kanaal. Je hoeft er niets voor te doen.
Telefoongesprek
Veel telefooncentrales en belopnamesoftware slaan een gesprek op met elke kant op een eigen kanaal. Dan is het probleem bijna opgelost voordat het model begint. Op ruim 20 uur Nederlandse telefoongesprekken staat de verkeerde of geen spreker in 3,8% van de tijd.
Interview of podcast
Met een dasspeldmicrofoon of headset per persoon en een recorder of audio-interface die elk kanaal apart opslaat, hoort elke microfoon vooral één persoon. Een beetje overspraak is geen probleem: het verschil in volume tussen de microfoons zegt juist wie er praat.
Vergaderzaal met tafelmicrofoons
In een zaal heeft niet iedereen een eigen microfoon, en dat hoeft ook niet. Twee of drie microfoons verspreid over de tafel splitsen het probleem al op: de mensen aan de linkerkant van de tafel klinken anders verdeeld dan die aan de rechterkant. Alleen wie dezelfde microfoon deelt, moet het model nog op stem uit elkaar houden.
Hybride vergadering
Zit een deel van de groep in de zaal en een deel online? Neem de zaalmicrofoon op één kanaal op en het geluid van het gesprek op een tweede. Dan valt de grootste verwarring weg: iemand op afstand wordt nooit verward met iemand in de zaal.
Eén telefoon op tafel
De meeste opnames zijn nog altijd gewoon mono: een telefoon op tafel, een spraakmemo. Daar heeft het model geen kanalen om op te leunen. Toch doet het ook daar beter dan community-1, omdat het getraind is op precies het lastige geval: Nederlandse stemmen die op elkaar lijken.
Getraind op stemmen die op elkaar lijken
Het model is vanaf nul getraind, op Nederlandse en Engelse gesprekken in mono, stereo en met meerdere microfoons. Omdat echte opnames met precies het lastige geval schaars zijn, heb ik er veel nagebootst: gesprekken samengesteld uit losse sprekers, met bewust stemmen gekozen die een vergelijkbare toonhoogte hebben. Twee mannen tussen de 100 en 135 hertz, twee vrouwen tussen de 180 en 220. Zo leert het model niet te leunen op het makkelijke verschil tussen een lage en een hoge stem.
Het werkt in twee stappen. Eerst kijkt het per stukje van een paar seconden naar alle kanalen tegelijk en bepaalt het welke stemmen actief zijn en waar ze het hardst klinken. Daarna worden die stukjes over de hele opname gegroepeerd tot sprekers, met een stemafdruk van elke spreker. Per moment wijst het één spreker aan, zodat elk woord in het transcript bij precies één persoon hoort.
Hoe het het doet
Ik heb het model vergeleken met pyannote community-1, een veelgebruikte opensource methode voor sprekerherkenning waar veel diensten op draaien. Beide kregen dezelfde Nederlandse opnames uit het Corpus Gesproken Nederlands, community-1 als mono, zoals het ontworpen is. De maat is de diarisatiefout: het deel van de tijd waarin de verkeerde spreker, geen spreker of een spreker te veel wordt aangewezen.
| Nederlandse testset | Opnames | Murmel | community-1 |
|---|---|---|---|
| Spontane gesprekken | 24 | 4,6% | 10,1% |
| Gesprekken tussen gelijke stemmen | 7 | 6,3% | 14,9% |
| Gevarieerde spraak | 21 | 6,9% | 10,1% |
| Telefoongesprekken (stereo) | 171 | 3,8% | 9,9% |
Diarisatiefout in %, lager is beter, met de gebruikelijke marge van een kwart seconde rond elke sprekerwissel.
Het verschil is het grootst waar het er het meest toe doet. Bij gesprekken tussen stemmen van hetzelfde geslacht, de meeste tussen twee vrouwen, wijst community-1 in bijna 15% van de tijd de verkeerde spreker aan. Murmel in 6,3%. Dat is een kleine set van zeven opnames, maar het patroon is hetzelfde in elke ronde die ik heb gemeten.
Ik heb het ook getest op wat gebruikers uiteindelijk zien: woorden in een transcript die bij de verkeerde persoon staan. Op eigen opnames van Nederlandse Google Meet-gesprekken is dat 4,1% van de woorden als de notulist in stereo opneemt, en 5,1% als dezelfde opname mono is. Met community-1 was dat 7,5%.
Eerlijk is eerlijk: op Engelse vergaderingen met vier of vijf deelnemers is community-1 nog iets beter, ongeveer 12,5% tegen 9,5% op de bekende AMI-vergaderingen. Murmel is er voor Nederlands, en daar heb ik eerst op gefocust. Engelse vergaderingen zijn de volgende stap.
Tips voor een opname die goed uit elkaar te halen is
- Neem op in stereo als het kan. Veel recorders en belopnameprogramma's hebben een stereo-instelling. Zet die aan en laat het zo: niet zelf naar mono omzetten voor je uploadt.
- Een microfoon per spreker is het beste, maar twee microfoons aan weerszijden van de tafel helpen al veel.
- Hybride vergadering? Zet de zaal en het gesprek op aparte kanalen.
- Losse sporen per persoon, bijvoorbeeld uit een podcastprogramma? Stuur ze via de API samen in, dan worden ze één opname met meerdere kanalen.
Hoe je het gebruikt
In de studio en bij de notulist staat sprekerherkenning altijd aan. Upload een stereobestand of een bestand met meerdere kanalen zoals het is, en het model gebruikt de kanalen vanzelf. De notulist neemt online vergaderingen sinds vandaag in stereo op.
Via de Murmel API stuur je een stereobestand gewoon als audio mee, met identify_speakers. Heb je elke spreker apart opgenomen, stuur de sporen dan als herhaalde channels-velden (2 tot 8 bestanden van dezelfde opname, gelijk beginnend). Je betaalt één keer, voor het langste spoor:
curl -X POST https://api.murmel.eu/v1/transcribe \
-H "X-API-Key: $MURMEL_API_KEY" \
-F channels=@anna.wav \
-F channels=@bram.wav \
-F identify_speakers=trueOp je eigen infrastructuur
Mogen opnames je eigen netwerk niet verlaten? Het sprekermodel is met een licentie ook beschikbaar om op je eigen servers te draaien, samen met de Murmel-spraakmodellen. Audio en transcripties blijven dan binnen je eigen omgeving. Mail naar murmel@the-ai-factory.com, of lees meer in Murmel draaien op je eigen servers.
In het kort
- Wat het is: murmel-flash-speakers-multichannel-v1, een model van The AI Factory dat bepaalt wie wanneer spreekt, en daarvoor tot vier kanalen van een opname gebruikt.
- Waar het sterk in is: Nederlandse gesprekken, en vooral stemmen die op elkaar lijken.
- Nauwkeurigheid: 4,6% diarisatiefout op Nederlandse gesprekken, tegen 10,1% voor pyannote community-1; 3,8% tegen 9,9% op telefoongesprekken.
- Waar je het gebruikt: in de studio op murmel.nl, bij de notulist voor Google Meet, Teams en Zoom, en via de API. Op servers in Nederland, of onder licentie op je eigen infrastructuur.
Het mooiste aan dit model vind ik niet het model zelf, maar dat het probleem kleiner werd zodra ik ophield informatie weg te gooien. Heb je een opname waarin het toch misgaat? Laat het me weten via info@the-ai-factory.com: juist die opnames maken de volgende versie beter.