Nieuw: Murmel draaien op je eigen servers
Vanaf nu kun je de Murmel-spraakmodellen met een licentie in je eigen omgeving draaien. Audio en transcripties verlaten je netwerk niet.
Sinds de lancering van Murmel krijg ik steeds vaker dezelfde vraag. Van een gemeente die gesprekken met inwoners wil uitwerken. Van een partij die opnames maakt voor meldkamers. Van een bedrijf dat duizenden klantgesprekken per week verwerkt. De vraag is telkens: kunnen we Murmel ook zelf draaien, op onze eigen servers?
Het antwoord is vanaf nu: ja.
Murmel draait al volledig in Nederland, op Nederlandse servers. Voor veel gebruikers is dat genoeg. Maar voor een deel van de organisaties is zelfs dat een stap te ver. Hun audio mag het eigen netwerk niet verlaten, of ze willen de verwerking volledig in eigen beheer hebben. Voor hen zijn de modellen nu beschikbaar op licentiebasis. Dit stuk gaat over wat je dan krijgt, hoe goed en snel de modellen zijn, en hoe je begint.
Waarom zelf draaien
Bij spraakherkenning gaat het bijna altijd om gevoelige informatie. Gesprekken met burgers, patiënten, cliënten of klanten. Wie die naar een Amerikaanse clouddienst stuurt, moet daar in een DPIA een goed verhaal voor hebben. En steeds vaker is het antwoord simpelweg: dat willen we niet.
Met een licentie draai je Murmel op hardware die je zelf beheert. Dat kunnen je eigen servers zijn, of cloudservers die je zelf beheert. Daarmee heb je:
- Volledige controle over je data. Audio en transcripties gaan de deur niet uit. Ik heb er ook geen toegang toe.
- Geen afhankelijkheid van een buitenlandse dienst. Het model draait bij jou, ook als er ergens anders iets verandert.
- Werken in afgesloten netwerken. Het model heeft geen verbinding met de buitenwereld nodig.
Hoe goed is het?
Murmel is geen aangepaste Whisper, maar een eigen model, vanaf nul getraind op Nederlandse spraak. In de blog over v5 staan de volledige benchmarks. Kort samengevat:
| Model | Gemiddeld woordfoutpercentage |
|---|---|
| murmel-flash-l-v5 | 7,1% |
| Canary 1B v2 | 7,9% |
| Voxtral Mini 3B | 8,7% |
| murmel-flash-m-v5 | 8,7% |
| Parakeet TDT 0.6B v3 | 8,9% |
| Whisper large-v3 | 10,7% |
| Whisper large-v3 turbo | 12,5% |
Het grote model maakt een derde minder fouten dan Whisper large-v3. Het kleine model doet het net zo goed als Voxtral Mini, een model dat ongeveer 37 keer zo groot is.
Maar de gemiddelden vertellen niet alles. Een paar dingen waar Murmel in de praktijk het verschil maakt:
- Stilte blijft stil. Bij opnames zonder spraak, zoals regen, verkeer of een zoemende koelkast, geeft Murmel op 3 tot 4% van de fragmenten tekst. Whisper large-v3 turbo doet dat op 68%.
- Spontane spraak. Op debatten uit het Europees Parlement maakt Murmel minder dan de helft van de fouten van Whisper large-v3.
- Getallen zoals je ze typt. Telefoonnummers, postcodes, IBAN's, bedragen en percentages komen eruit zoals een mens ze zou opschrijven.
- Namen en vaktaal. Het model is extra getraind op namen, leenwoorden en samenstellingen, de woorden waar algemene modellen het vaakst op struikelen.
En het is snel
Omdat Murmel een eigen, compacte architectuur heeft, is het een stuk kleiner dan de bekende alternatieven. En kleiner betekent sneller en goedkoper om te draaien.
| Model | Aantal parameters |
|---|---|
| murmel-flash-m-v5 | 128 miljoen |
| murmel-flash-l-v5 | 397 miljoen |
| Parakeet TDT 0.6B v3 | 600 miljoen |
| Whisper large-v3 turbo | 809 miljoen |
| Canary 1B v2 | 978 miljoen |
| Whisper large-v3 | 1,55 miljard |
| Voxtral Mini 3B | 4,7 miljard |
Het kleine model is 12 keer kleiner en 5 keer sneller dan Whisper large-v3. Het draait zelfs op een gewone CPU, dus voor veel toepassingen heb je geen dure GPU nodig. Wie grote hoeveelheden audio verwerkt, zet het grote model op een GPU en verwerkt meer met minder hardware dan met Whisper.
Wat je krijgt
Er zijn twee abonnementen, allebei met een vast bedrag per jaar en onbeperkt gebruik:
| Flagship | M-serie | |
|---|---|---|
| Model | Het meest nauwkeurige model, nu murmel-flash-l-v5, plus alle modellen uit de M-serie | Het compacte model, nu murmel-flash-m-v5 |
| Geschikt voor | Hoogste kwaliteit en grote volumes op GPU | Draaien op CPU en lokale apparaten |
| Updates | Altijd het nieuwste flagship-model, inclusief nieuwe functies zoals verwerking van stereokanalen en verbeterde sprekersherkenning zodra die verschijnen | Altijd de nieuwste versie uit de M-serie |
Bij allebei zit:
- Onbeperkt gebruik. Geen limiet op uren audio, servers of aantal gebruikers.
- Weights en deploymentcode. Na ondertekening krijg je toegang tot de repository met de modelgewichten, de code om ze te draaien en de documentatie. Tools zoals sprekersherkenning zitten erbij.
- Updates. Nieuwe versies verschijnen in dezelfde repository.
- Ondersteuning. Ik help bij installatie en configuratie, per mail of videogesprek.
De licenties zijn bedoeld voor commercieel gebruik. Voor privégebruik komt het kleine model binnenkort gratis beschikbaar.
Hoe je begint
- Neem contact op via murmel@the-ai-factory.com. Vertel kort waar je Murmel voor wilt gebruiken en op wat voor hardware.
- Je ontvangt de infosheet. Daarin staan de prijzen en voorwaarden.
- Daarna volgt de licentieovereenkomst. Na ondertekening krijg je toegang tot de repository met de weights, de code en de documentatie.
Twijfel je of Murmel goed werkt op jouw audio? Probeer het eerst via murmel.nl. Daar draait hetzelfde model, en je kunt twee weken gratis testen.
Wat ik geleerd heb
Toen ik aan Murmel begon, dacht ik vooral aan een website waar je een bestand uploadt en een transcript terugkrijgt. Dat werkt goed, en daar blijft Murmel voor. Maar de gesprekken van de afgelopen maanden lieten zien dat er een grote groep organisaties is voor wie de vraag niet is welk model het beste is, maar waar de data naartoe gaat.
Voor die groep is dit. Een Nederlands model, gemaakt voor Nederlands, dat je zelf in beheer hebt.
Wil je weten of Murmel in jouw organisatie past, of heb je vragen over de licenties? Mail naar murmel@the-ai-factory.com. Ik hoor graag waar je het voor wilt gebruiken.