← Terug naar overzicht
• Maarten Sukel

Nederlandse sprekerherkenning met meerdere kanalen: stemmen uit elkaar houden, ook als ze op elkaar lijken

Een nieuw model voor wie wanneer spreekt, gebouwd voor Nederlands, dat stereo en meerdere microfoons gebruikt in plaats van ze weg te gooien

De lastigste opname voor sprekerherkenning is niet een vergadering met tien mensen. Het is een gesprek tussen twee collega's van dezelfde leeftijd, allebei vrouw, allebei uit dezelfde regio. Een model dat sprekers uit elkaar houdt op klank en toonhoogte, ziet daar twee keer bijna dezelfde stem. Het resultaat ken je misschien: een transcript waarin de halve vergadering aan één persoon wordt toegeschreven, of waarin iemand halverwege een zin van naam wisselt.

Je kunt dat proberen op te lossen met een groter model dat nog fijnere verschillen in een stem leert horen. Ik heb voor de andere kant gekozen.

Maak het probleem kleiner, niet de oplossing groter

Bij veel opnames is de informatie over wie er praat er al. Een telefoongesprek wordt vaak in stereo opgenomen: de ene kant links, de andere rechts. Bij een podcast of interview heeft elke spreker een eigen microfoon. En in een online vergadering krijgt de computer van elke deelnemer een apart geluidsspoor binnen.

Tot nu toe gooiden de meeste systemen, Murmel inbegrepen, die informatie meteen weg: alles werd tot één monospoor gemengd, en daarna moest een model het weer uit elkaar halen. Dat is een moeilijk probleem dat je zelf hebt gemaakt.

Het nieuwe model houdt de kanalen apart. De vraag "welke van deze twee bijna gelijke stemmen is dit?" wordt dan vaak een veel simpelere vraag: "op welke microfoon klinkt dit het hardst?" Pas als dat niet genoeg is, bijvoorbeeld omdat twee mensen dezelfde microfoon delen, komt de stem zelf aan bod.

Opstellingen die het model begrijpt

Een kanaal mag één spreker bevatten of meerdere, en er mogen meer mensen in de opname zitten dan er kanalen zijn. Het model gebruikt tot vier kanalen. Hieronder de opstellingen die het vaakst voorkomen. In elke tekening zie je links wie er waar zit, in het midden wat er op elk kanaal binnenkomt (gekleurd naar wie er praat, vaag als iemand van verder weg wordt opgevangen), en onderaan wat Murmel ervan maakt.

Online vergadering met de notulist

linksthuis 1rechtsthuis 2linksthuis 3Murmel-notulistlinksrechtsMurmel: wie spreekt wanneerABCAB
De notulist ontvangt elke deelnemer apart en zet ze om en om links en rechts in de opname.

Als je de Murmel-notulist naar een Google Meet, Teams of Zoom stuurt, neemt die sinds vandaag in stereo op. Elke deelnemer komt binnen als een eigen spoor, en de notulist verdeelt ze over links en rechts. Twee mensen die op elkaar lijken, zitten zo meestal op een ander kanaal. Je hoeft er niets voor te doen.

Telefoongesprek

telefoonlijnopnameper kantkanaal 1kanaal 2Murmel: wie spreekt wanneerABAB
Elke kant van het gesprek op een eigen kanaal: de makkelijkste situatie.

Veel telefooncentrales en belopnamesoftware slaan een gesprek op met elke kant op een eigen kanaal. Dan is het probleem bijna opgelost voordat het model begint. Op ruim 20 uur Nederlandse telefoongesprekken staat de verkeerde of geen spreker in 3,8% van de tijd.

Interview of podcast

recorder ofaudio-interfacekanaal 1kanaal 2kanaal 3Murmel: wie spreekt wanneerABCAB
Een eigen microfoon per spreker. Wat de andere microfoons ook oppikken is zachter, en het model gebruikt juist dat verschil.

Met een dasspeldmicrofoon of headset per persoon en een recorder of audio-interface die elk kanaal apart opslaat, hoort elke microfoon vooral één persoon. Een beetje overspraak is geen probleem: het verschil in volume tussen de microfoons zegt juist wie er praat.

Vergaderzaal met tafelmicrofoons

ACBDErecorder2 kanalenmicrofoon 1microfoon 2Murmel: wie spreekt wanneerACBDEA
Vijf mensen, twee microfoons. Elke microfoon hoort vooral de mensen die het dichtst bij zitten.

In een zaal heeft niet iedereen een eigen microfoon, en dat hoeft ook niet. Twee of drie microfoons verspreid over de tafel splitsen het probleem al op: de mensen aan de linkerkant van de tafel klinken anders verdeeld dan die aan de rechterkant. Alleen wie dezelfde microfoon deelt, moet het model nog op stem uit elkaar houden.

Hybride vergadering

ABCdeelnemer op afstandgeluid van het gesprekrecorder2 kanalenzaalmicrofoongesprekMurmel: wie spreekt wanneerADBCD
De zaal op het ene kanaal, het geluid van de deelnemers op afstand op het andere.

Zit een deel van de groep in de zaal en een deel online? Neem de zaalmicrofoon op één kanaal op en het geluid van het gesprek op een tweede. Dan valt de grootste verwarring weg: iemand op afstand wordt nooit verward met iemand in de zaal.

Eén telefoon op tafel

ABCDrecorderof telefoonmonoMurmel: wie spreekt wanneerABCDA
Eén kanaal met iedereen erop. Dan moet het model het op de stemmen doen, en ook dat gaat beter dan voorheen.

De meeste opnames zijn nog altijd gewoon mono: een telefoon op tafel, een spraakmemo. Daar heeft het model geen kanalen om op te leunen. Toch doet het ook daar beter dan community-1, omdat het getraind is op precies het lastige geval: Nederlandse stemmen die op elkaar lijken.

Getraind op stemmen die op elkaar lijken

Het model is vanaf nul getraind, op Nederlandse en Engelse gesprekken in mono, stereo en met meerdere microfoons. Omdat echte opnames met precies het lastige geval schaars zijn, heb ik er veel nagebootst: gesprekken samengesteld uit losse sprekers, met bewust stemmen gekozen die een vergelijkbare toonhoogte hebben. Twee mannen tussen de 100 en 135 hertz, twee vrouwen tussen de 180 en 220. Zo leert het model niet te leunen op het makkelijke verschil tussen een lage en een hoge stem.

Het werkt in twee stappen. Eerst kijkt het per stukje van een paar seconden naar alle kanalen tegelijk en bepaalt het welke stemmen actief zijn en waar ze het hardst klinken. Daarna worden die stukjes over de hele opname gegroepeerd tot sprekers, met een stemafdruk van elke spreker. Per moment wijst het één spreker aan, zodat elk woord in het transcript bij precies één persoon hoort.

Hoe het het doet

Ik heb het model vergeleken met pyannote community-1, een veelgebruikte opensource methode voor sprekerherkenning waar veel diensten op draaien. Beide kregen dezelfde Nederlandse opnames uit het Corpus Gesproken Nederlands, community-1 als mono, zoals het ontworpen is. De maat is de diarisatiefout: het deel van de tijd waarin de verkeerde spreker, geen spreker of een spreker te veel wordt aangewezen.

Nederlandse testsetOpnamesMurmelcommunity-1
Spontane gesprekken244,6%10,1%
Gesprekken tussen gelijke stemmen76,3%14,9%
Gevarieerde spraak216,9%10,1%
Telefoongesprekken (stereo)1713,8%9,9%

Diarisatiefout in %, lager is beter, met de gebruikelijke marge van een kwart seconde rond elke sprekerwissel.

Het verschil is het grootst waar het er het meest toe doet. Bij gesprekken tussen stemmen van hetzelfde geslacht, de meeste tussen twee vrouwen, wijst community-1 in bijna 15% van de tijd de verkeerde spreker aan. Murmel in 6,3%. Dat is een kleine set van zeven opnames, maar het patroon is hetzelfde in elke ronde die ik heb gemeten.

Ik heb het ook getest op wat gebruikers uiteindelijk zien: woorden in een transcript die bij de verkeerde persoon staan. Op eigen opnames van Nederlandse Google Meet-gesprekken is dat 4,1% van de woorden als de notulist in stereo opneemt, en 5,1% als dezelfde opname mono is. Met community-1 was dat 7,5%.

Eerlijk is eerlijk: op Engelse vergaderingen met vier of vijf deelnemers is community-1 nog iets beter, ongeveer 12,5% tegen 9,5% op de bekende AMI-vergaderingen. Murmel is er voor Nederlands, en daar heb ik eerst op gefocust. Engelse vergaderingen zijn de volgende stap.

Tips voor een opname die goed uit elkaar te halen is

  • Neem op in stereo als het kan. Veel recorders en belopnameprogramma's hebben een stereo-instelling. Zet die aan en laat het zo: niet zelf naar mono omzetten voor je uploadt.
  • Een microfoon per spreker is het beste, maar twee microfoons aan weerszijden van de tafel helpen al veel.
  • Hybride vergadering? Zet de zaal en het gesprek op aparte kanalen.
  • Losse sporen per persoon, bijvoorbeeld uit een podcastprogramma? Stuur ze via de API samen in, dan worden ze één opname met meerdere kanalen.

Hoe je het gebruikt

In de studio en bij de notulist staat sprekerherkenning altijd aan. Upload een stereobestand of een bestand met meerdere kanalen zoals het is, en het model gebruikt de kanalen vanzelf. De notulist neemt online vergaderingen sinds vandaag in stereo op.

Via de Murmel API stuur je een stereobestand gewoon als audio mee, met identify_speakers. Heb je elke spreker apart opgenomen, stuur de sporen dan als herhaalde channels-velden (2 tot 8 bestanden van dezelfde opname, gelijk beginnend). Je betaalt één keer, voor het langste spoor:

curl -X POST https://api.murmel.eu/v1/transcribe \
  -H "X-API-Key: $MURMEL_API_KEY" \
  -F channels=@anna.wav \
  -F channels=@bram.wav \
  -F identify_speakers=true

Op je eigen infrastructuur

Mogen opnames je eigen netwerk niet verlaten? Het sprekermodel is met een licentie ook beschikbaar om op je eigen servers te draaien, samen met de Murmel-spraakmodellen. Audio en transcripties blijven dan binnen je eigen omgeving. Mail naar murmel@the-ai-factory.com, of lees meer in Murmel draaien op je eigen servers.

In het kort

  • Wat het is: murmel-flash-speakers-multichannel-v1, een model van The AI Factory dat bepaalt wie wanneer spreekt, en daarvoor tot vier kanalen van een opname gebruikt.
  • Waar het sterk in is: Nederlandse gesprekken, en vooral stemmen die op elkaar lijken.
  • Nauwkeurigheid: 4,6% diarisatiefout op Nederlandse gesprekken, tegen 10,1% voor pyannote community-1; 3,8% tegen 9,9% op telefoongesprekken.
  • Waar je het gebruikt: in de studio op murmel.nl, bij de notulist voor Google Meet, Teams en Zoom, en via de API. Op servers in Nederland, of onder licentie op je eigen infrastructuur.

Het mooiste aan dit model vind ik niet het model zelf, maar dat het probleem kleiner werd zodra ik ophield informatie weg te gooien. Heb je een opname waarin het toch misgaat? Laat het me weten via info@the-ai-factory.com: juist die opnames maken de volgende versie beter.