Murmel v2 is er: 30% minder fouten in Nederlandse spraak-naar-tekst

Murmel v2 is er, en maakt ongeveer 30% minder fouten dan de eerste versie.

Een paar maanden geleden introduceerde ik Murmel, een Nederlands spraak-naar-tekst model dat ik bouwde omdat de bestaande opties niet goed genoeg waren in het Nederlands. De reactie was overweldigend: gemeenten, universiteiten, ministeries en bedrijven stonden in de rij om het op hun eigen audio te testen.

Al die feedback hielp om de interface te verbeteren. Daarnaast heb ik gewerkt aan het verzamelen van meer data, het verbeteren van de architectuur en het investeren in meer rekenkracht.

Op verschillende veelgebruikte publieke benchmarks staat v2 nu in totaal op de derde plaats tegenover de beste Nederlandse ASR-systemen, vóór alles van OpenAI, Mistral, NVIDIA, Cohere en Qwen. De enige twee modellen die nog vóór Murmel staan zijn zwaar gefinancierde, propriëtaire frontier-systemen, en daar richt ik me als volgende op.

Een publieke benchmark, voor iedereen op dezelfde manier gemeten

Toen ik v1 lanceerde, publiceerde ik mijn eigen benchmark op parlementaire audio. Het was eerlijk werk, maar het bleef mijn benchmark, door mijzelf uitgevoerd. De terechte vraag van lezers was: hoe houdt dit stand als het model wordt gemeten op een gedeelde, publieke maatstaf?

Deze resultaten beantwoorden precies dat: elk model gaat door dezelfde drie gestandaardiseerde publieke Nederlandse testsets, FLEURS, VoxPopuli en Multilingual LibriSpeech, met dezelfde evaluatiepijplijn, zodat de vergelijking gelijk-om-gelijk is op gemeenschappelijke data. Eén eerlijke kanttekening geldt voor elke benchmark als deze: sommige modellen zijn mogelijk getuned op data die overlapt met de testsets, dus de cijfers kun je het beste lezen als indicatief in plaats van definitief, en ik raad je altijd aan om elk cijfer dat voor jou belangrijk is op je eigen audio te verifiëren.

Waar v2 staat

Gemiddeld woordfoutpercentage over de drie benchmark-datasets. Het woordfoutpercentage is het percentage woorden dat het model verkeerd heeft, dus lager is beter.

Ik ben er trots op dat ik vlak achter de twee modellen vóór Murmel v2 sta, Resonate-1 en ElevenLabs scribe_v2, beide van goed gefinancierde, gerespecteerde bedrijven. Murmel staat derde, vóór Voxtral van Mistral, Cohere, Parakeet van NVIDIA, Qwen en Whisper-large-v3 van OpenAI, die helemaal onderaan op de tiende plaats belandt met bijna het dubbele foutpercentage van Murmel.

Hoe ver v2 is gekomen ten opzichte van v1

Ten opzichte van mijn eigen vorige release is de verbetering consistent over elke dataset. Ik evalueerde v1 en v2 op dezelfde drie benchmarks met dezelfde opzet, dus dit is een zuivere vergelijking van appels met appels.

Dat is een gemiddelde daling van ongeveer 3 procentpunten, ongeveer een derde minder fouten, met de grootste winst op VoxPopuli, de moeilijkste van de drie. En niets daarvan kost snelheid: de real-time factor van v2 ligt rond 0,006, wat betekent dat het een uur audio transcribeert in ongeveer twintig seconden rekentijd, comfortabel sneller dan verschillende van de propriëtaire systemen die erboven op de ranglijst staan.

De databronnen waarop Murmel wordt getest

Een benchmark is alleen zo betrouwbaar als de data erachter. De drie testsets die hier worden gebruikt, FLEURS, VoxPopuli en Multilingual LibriSpeech, zijn gevestigde, openbaar beschikbare datasets, elk met een Nederlands deel, en elk belast het model op een andere manier. Die spreiding is wat het gemiddelde betekenisvol maakt.

FLEURS (Few-shot Learning Evaluation of Universal Representations of Speech) is de meertalige benchmark van Google, gebouwd op voorgelezen zinnen uit de FLoRes-vertaalset. Het Nederlandse deel is relatief schone, goed gearticuleerde spraak van uiteenlopende sprekers. Het komt het dichtst in de buurt van een best-case situatie, en daarom zijn de foutpercentages hier het laagst, en het vertelt je hoe goed een model is wanneer de audio meewerkt. Murmel v2 scoort hier 4,67%, op korte afstand van de propriëtaire koplopers.

VoxPopuli is een groot corpus uit opnames van het Europees Parlement: echte plenaire debatten en toespraken. Dit is spontane, geaccentueerde, soms overlappende politieke spraak, opgenomen in een rumoerige zaal, vaak door niet-moedertaalsprekers. Het is echt moeilijk, en dat is precies waarom het de meest relevante test is voor de publieke sector waarvoor Murmel is gebouwd. De hoge absolute cijfers bij elk model weerspiegelen de moeilijkheid van het materiaal, niet een zwakte die specifiek is voor Murmel, en de sprong van v2 van 15,44% naar 10,59% ten opzichte van v1 is de grootste verbetering in de hele vergelijking.

Multilingual LibriSpeech (MLS) is het Nederlandse deel van een groot corpus afgeleid van LibriVox-luisterboeken, mensen die gepubliceerde boeken voorlezen. Het zit tussen de andere twee in: helderder dan een parlementair debat, maar met langere, gevarieerdere zinnen en een breed scala aan stemmen en opnamecondities. Het is een goede maatstaf voor hoe een model omgaat met langdurige, verhalende spraak. Murmel v2 scoort hier 6,25%.

Samen dekken deze drie een nuttige spreiding: schone voorgelezen spraak (FLEURS), rommelige institutionele spraak uit de praktijk (VoxPopuli) en lange verhalende spraak (MLS). Een model dat op alle drie tegelijk verbetert, verbetert op een echte, generaliseerbare manier, in plaats van te overfitten op één stijl.

Eén eerlijke kanttekening, dezelfde die ik bij v1 gaf: dit zijn allemaal relatief voorbereide of voorgelezen vormen van spraak. Volledig spontane audio, een medisch consult, een veldinterview, een callcenter-opname, blijft een actief werkterrein, en grondige evaluatie op die domeinen doe ik graag samen met de juiste partners.

Gebouwd in Europa, voor Europa

Het resultaat versterkt de gedachte achter Murmel vanaf dag één: een speciaal gebouwd Nederlands model verslaat algemene alternatieven, en het verschil groeit met elke trainingsronde. Op een publieke benchmark zijn de enige twee modellen die nog vóór Murmel staan goed gefinancierde, propriëtaire frontier-systemen, en v2 dichtte ongeveer een derde van zijn resterende foutpercentage in één iteratie.

Murmel draait op infrastructuur in Nederland, ontworpen voor transcriptiepijplijnen met hoog volume (in de publieke sector steeds vaker een vereiste in plaats van een voorkeur). Sinds de lancering van v1 hebben meer dan 500 gebruikers zich aangemeld om hun Nederlandse audio met Murmel te transcriberen, en die feedback is wat v2 beter heeft gemaakt.

Je kunt Murmel v2 twee weken gratis proberen. Start je gratis proef op murmel.nl.