Na 199 snimaka jasnog hrvatskog govora Transkripcija je pogrešno zapisala 5,5 % riječi. Whisper large-v3, model otvorenog koda na kojem radi velik dio besplatnih alata, pogriješio je u 10,9 %, dakle dvostruko više. Googleov Gemini bio je otprilike jednako točan: Flash 5,6 %, Pro 4,8 %. Test smo proveli 14. listopada 2026. na sedam jezika, a ispod su svi rezultati i točan opis metode.
Što znači 5,5 % pogrešnih riječi
Mjera se zove WER (word error rate): udio riječi koje čovjek mora ispraviti, izbrisati ili dodati da bi se prijepis poklopio s izvornikom. 5,5 % znači otprilike 5 do 6 ispravaka na 100 riječi. Niži broj je bolji.
U hrvatskom svaki krivi nastavak broji se kao cijela pogrešna riječ: »odluke« umjesto »odluci« jedna je pogreška, iako se rečenica i dalje razumije. Zato je WER za jezike s padežima u pravilu viši nego za engleski, čak i kad je prijepis posve upotrebljiv.
Rezultati za hrvatski
| Alat | Pogrešnih riječi | Raspon 95 % |
|---|---|---|
| Transkripcija | 5,5 % | 4,4–6,6 % |
| Whisper large-v3 | 10,9 % | 9,6–12,3 % |
| Gemini Flash | 5,6 % | 4,2–7,2 % |
| Gemini Pro | 4,8 % | 3,8–5,7 % |
Razlika prema Whisperu velika je i pouzdana: u svih 1.000 ponovljenih uzorkovanja (vidi metodu ispod) Whisper je imao više pogrešaka. Transkripcija i Gemini Flash praktički su izjednačeni. Gemini Pro bio je kod hrvatskog bolji za manje od jednog postotnog boda.
Svih sedam jezika
Isti postupak i jednak broj snimaka koristili smo za sve jezike koje pokrivaju naše stranice. Udio pogrešnih riječi, niže je bolje:
| Jezik | Snimaka | Transkripcija | Whisper large-v3 | Gemini Flash | Gemini Pro |
|---|---|---|---|---|---|
| slovenski | 195 | 8,7 % | 20,2 % | 8,1 % | 7,5 % |
| hrvatski | 199 | 5,5 % | 10,9 % | 5,6 % | 4,8 % |
| češki | 192 | 4,3 % | 11,5 % | 3,4 % | 3,4 % |
| slovački | 200 | 2,8 % | 9,5 % | 3,2 % | 2,7 % |
| poljski | 199 | 3,9 % | 4,9 % | 3,1 % | 2,5 % |
| rumunjski | 200 | 3,1 % | 8,3 % | 3,9 % | 2,8 % |
| bugarski | 197 | 4,3 % | 12,1 % | 6,2 % | 4,6 % |
Ukratko: Transkripcija radi 2 do 3 puta manje pogrešaka od Whispera u šest jezika. Kod poljskog je razlika manja (3,9 % prema 4,9 %). S Gemini Flashom izjednačeni smo u slovenskom, hrvatskom i slovačkom, bolji u bugarskom i rumunjskom, a Flash je bolji u češkom i poljskom. Gemini Pro je oko jedan bod bolji u slovenskom, hrvatskom, češkom i poljskom, a u ostalim jezicima smo izjednačeni.
Brojke uspoređujte između alata unutar istog jezika, ne između jezika: slovenske snimke, na primjer, bile su najteže za sve alate.
Što ovaj test ne pokazuje
- Snimke su jasan čitani govor. Jedan govornik, tiha prostorija, rečenice s Wikipedije. Sastanci s više ljudi, telefonski pozivi, buka i dijalekt donose više pogrešaka svim alatima. Koliko više, ovaj test ne mjeri.
- Brojevi se računaju kao pogreška ako su zapisani drugačije. »2026« i »dvije tisuće dvadeset šest« u testu su različite riječi. To jednako podiže rezultat svim alatima.
- Točnost nije sve. Prijepis s oznakama govornika, vremenskim oznakama i titlovima SRT uštedi više posla nego bod manje pogrešaka ako tekst ionako morate uređivati.
Ako želite znati kako alat radi na vašim snimkama, uzmite 2 do 3 minute tipične snimke, prepišite je i prebrojite ispravke. Kod Transkripcije je prva datoteka do 30 minuta besplatna.
Kako smo testirali
- Snimke: testni dio zbirke FLEURS (Google, licenca CC BY 4.0), u kojoj izvorni govornici čitaju rečenice s Wikipedije. Za svaki jezik fiksnom hash funkcijom odabrali smo oko 200 snimaka, ukupno 33 do 41 minutu zvuka po jeziku. Za hrvatski 199 snimaka, odnosno 35 minuta.
- Transkripcija: s istim postavkama kao u aplikaciji, dakle s modelom ElevenLabs Scribe v2 koji koristimo za prepoznavanje govora.
- Whisper large-v3: OpenAI-jev model otvorenog koda, pokrenut s faster-whisper, beam 5.
- Gemini: preko Googleova API-ja, inačice gemini-3.8-flash i gemini-3.1-pro-preview.
- Bodovanje: sve malim slovima, bez interpunkcije, zatim udio pogrešnih riječi preko svih snimaka zajedno. Raspon pokazuje gdje je rezultat bio u 95 % od 1.000 ponovljenih uzorkovanja snimaka.
- Datum: 14. listopada 2026. Neki su govornici rečenicu započeli ispočetka; to svim alatima donosi iste pogreške.
Svi prijepisi i skripta za ponavljanje testa spremljeni su kod nas, pa test možemo ponoviti kad se modeli ažuriraju.