Problém
Vo firmách ľudia stále ručne prepisujú údaje z dokladov do systémov: objednávky, dodacie listy, reklamácie, revízne správy. AI dnes vie tieto údaje predvyplniť a človek ich len skontroluje. Otázky, ktoré nám klienti kladú, sú však praktické: Je lokálna AI (žiadne dáta von z firmy) dosť presná? Vie AI povedať, kde si nie je istá? Ušetrí kontrola naozaj čas oproti prepisu? A od akého objemu sa oplatí vlastný hardvér?
Čo sme postavili
Otvorený benchmark na 60 vymyslených slovenských dokladoch (4 typy × 15: objednávky, dodacie listy a CMR, reklamačné protokoly, revízne správy; po 5 čistých, 5 skenovaných a 5 zhoršených: vyblednuté, odfotené mobilom, šikmé a rozmazané, fax). Ku každému dokladu je správna odpoveď pole po poli. Všetky modely dostali rovnaký prompt a rovnakú výstupnú schému.
Otázky, metriky a hranicu „dobrého výsledku” sme zapísali a zmrazili pred prvým meraním (predregistrácia). Výsledky zverejňujeme, aj keď lokálny model prehrá.
Ako sme merali
- Lokálne: Qwen 3.6 (35B) a Gemma 4 (26B) cez Ollamu na mini PC s AMD Ryzen AI 9 HX 370 a 64 GB RAM, cena zostavy 1 474 €. Dve cesty: obrázok strany priamo do modelu, alebo najprv OCR (GLM-OCR) a potom text do modelu.
- Cloud: Claude Sonnet 5.5 a Claude Haiku 5.5, obrázok strany.
- 60 dokladov × 3 opakovania = 180 vyťažení na každú kombináciu. Teplota 0 tam, kde ju model prijíma.
- Bodovanie: text sa musí zhodovať aspoň na 90 % a diakritika musí sedieť presne; dátumy, sumy, IČO a čísla presne; položky objednávky po riadkoch. Vymyslená hodnota tam, kde v doklade nič nie je, je najhoršia chyba a počítame ju zvlášť.
Čo sme namerali
4. 11. 2026, 60 dokladov × 3 opakovania na každý riadok.
| Model | Presnosť | Čisté / sken / zhoršené | Sekundy na doklad |
|---|---|---|---|
| Claude Sonnet 5.5 (cloud) | 99,4 % | 99,7 / 99,6 / 98,8 | 3,9 |
| Claude Haiku 5.5 (cloud) | 97,6 % | 98,7 / 99,4 / 94,8 | 4,8 |
| Qwen 3.6 lokálne, obrázok | 94,1 % | 96,6 / 97,8 / 87,8 | 28,8 |
| Gemma 4 lokálne, obrázok | 93,7 % | 93,4 / 95,6 / 92,1 | 18,8 |
| Gemma 4 lokálne, OCR + text | 90,6 % | 97,0 / 91,6 / 83,1 | 37,0 |
| Qwen 3.6 lokálne, OCR + text | 88,5 % | 91,5 / 91,3 / 82,5 | 35,2 |
- Presnosť: najlepší lokálny model je 5,3 percentuálneho bodu za najlepším cloudovým. Našu vopred stanovenú hranicu (najviac 5 bodov) tesne nesplnil.
- Gemma 4 je takmer rovnako presná ako Qwen a o 35 % rýchlejšia, takže lacnejšia konfigurácia stroja stačí.
- Obrázok priamo do modelu je presnejší ako OCR a text, o 3 až 6 bodov.
- Opakovania sa líšili najviac o 1,1 bodu, výsledky sú stabilné.
- Všetky čísla sú po jednej opravenej chybe v našom datasete (pozri nižšie). Podľa pôvodných pravidiel: Sonnet 98,9 %, Haiku 97,2 %, Qwen 93,6 %. Rozdiel medzi najlepším lokálnym a cloudovým modelom je v oboch prípadoch 5,3 bodu.
Vie AI, kedy sa mýli?
Každé pole mohol model označiť „skontrolovať”. Chceli sme, aby označil aspoň 80 % svojich chýb a pritom nie viac ako 20 % všetkých polí.
| Model | Označené vlastné chyby | Označené polia spolu |
|---|---|---|
| Claude Haiku 5.5 | 65 % | 13,5 % |
| Claude Sonnet 5.5 | 46 % | 4,4 % |
| Qwen 3.6, OCR + text | 37 % | 10,0 % |
| Qwen 3.6, obrázok | 10 % | 1,7 % |
| Gemma 4, obrázok | 5 % | 1,0 % |
Žiadny model hranicu nesplnil. Lokálne modely pri obrázkoch označia len 5 až 10 % vlastných chýb. Jednoduché pravidlá v kóde (platný dátum, kontrolná číslica IČO, súčet položiek) pridajú ďalších 5 až 12 bodov. Kto nasadzuje AI na doklady, nemôže sa spoliehať, že ho AI upozorní, kde sa pomýlila.
Koľko to stojí
Odhad: spotrebu sme nemerali meračom, počítame s 65 W pri záťaži (horná hranica 120 W, výkon adaptéra), 12 W v nečinnosti a 0,1985 €/kWh. Cena cloudu je reálne vyúčtovaná za 180 dokladov. 1 € = 25 Kč, 1 $ = 0,86 €.
| Dokladov mesačne | Lokálne (Qwen) | Claude Sonnet 5.5 | Claude Haiku 5.5 | SaaS za 1 Kč/doklad |
|---|---|---|---|---|
| 200 | 42,68 € | 2,45 € | 0,16 € | 8 € |
| 1 000 | 42,76 € | 12,25 € | 0,78 € | 40 € |
| 5 000 | 43,18 € | 61,23 € | 3,91 € | 200 € |
- Lokálny stroj je z 99 % odpisy hardvéru (1 474 € na 3 roky). Elektrina na doklad je zanedbateľná (0,0001 €).
- Lokálne sa oplatí oproti SaaS za 1 Kč od ~1 070 dokladov mesačne, oproti Sonnetu od ~3 500. Oproti Haiku až od ~60 000, čo je blízko kapacity jedného stroja (~90 000 dokladov mesačne pri jednom vlákne).
- Pri malých objemoch je hlavný dôvod pre lokálnu AI to, že dáta neopustia firmu, nie cena.
- Najväčší náklad je v každom prípade čas človeka na kontrolu. Ten meriame v štúdii nižšie.
Štúdia s ľuďmi: prebieha
Zostávajú dve otázky, na ktoré potrebujeme ľudí:
- Je kontrola predvyplnených údajov aspoň 2,5-krát rýchlejšia ako ich prepis?
- Všimnú si ľudia chyby v predvyplnených údajoch, a pomáhajú im pri tom značky „skontrolovať”?
Zapojte sa do štúdie: 16 fiktívnych dokladov v prehliadači, asi 45 minút, stačí prezývka. Výsledky doplníme na túto stránku.
Čo sme sa naučili
- Chyba v našom datasete. Generátor pri reklamáciách bez spôsobu vybavenia vytlačil na doklad text „bude určený do 3 pracovných dní”. Oba cloudové modely ho poctivo prepísali a naše bodovanie to rátalo ako vymyslenú hodnotu. Opravu sme zapísali ako datovaný dodatok k predregistrácii a uvádzame obe čísla.
- Rozdiel v zadaní vyzerá ako chyba modelu. Lokálne modely pri revíznych správach často pripojili k názvu objektu aj adresu. Cloudové modely nie. Prompt to nezakazoval, tak sme to po zmrazení nechali tak a rátame to ako chybu.
- „Ako číslo” v prompte a textové pole v schéme dali pri Ollame hodnoty ako „,4” a celé prázdne riadky tabuľky. Pomohlo napísať „iba číslicami”.
- OCR stráca zaškrtávacie políčka a diakritiku na zhoršených dokladoch, preto je cesta cez obrázok presnejšia.
- Verzia runtime mení výsledky: po aktualizácii Ollamy sa presnosť Gemmy pri rovnakých váhach posunula o 3,7 bodu. Verzie treba zapisovať.
Dáta a kód
Dataset (60 dokladov so správnymi odpoveďami, licencia CC BY 4.0), generátor, predregistrácia, kód merania a surové výstupy zverejníme spolu s výsledkami štúdie.
Názvy modelov uvádzame len na označenie toho, čo sme merali. LabZone nie je prepojený s výrobcami modelov a tí výsledky neschválili.
Pre koho
Pre firmy, ktoré ručne prepisujú údaje z dokladov a zvažujú AI, ale nevedia, či stačí lokálny model, koľko bude stáť a koľko práce človeku naozaj ušetrí.
Otázky ukladáme bez IP adresy 30 dní, aby sme podľa nich vyhodnotili a zlepšili experiment. IP adresu používame len krátkodobo na obmedzenie počtu dopytov a neukladáme ju. Nepíšte do otázok osobné údaje.