LabZone Labs — vlastný experiment (nie klientsky case study)

LabZone Labs · W47 · 19. 11. 2026 · Stav: Hotovo

Rozhodovacie modely vs. lokálny LLM: kto má vyberať v kalkulačnom asistentovi?

Vyskúšať kalkulačný asistent →Demo beží na lokálnom modeli. Katalóg, ceny aj testovacie dopyty sú fiktívne.

Problém

Náš kalkulačný asistent číta dopyt zákazníka lokálnym jazykovým modelom a cenu počíta deterministický engine. Model nikdy nepočíta. Rozhoduje: aký produkt, aký podklad, aká fólia, časovač áno či nie, aké mesto. Sú to výbery z pevného zoznamu.

Presne na to vzniká nová trieda modelov. Gemini Decision 1 od Google a Jev od TypeSafe nepíšu text. Dostanú vstup a otázky s pevnými možnosťami a v jednom prechode vrátia pravdepodobnosť každej možnosti. Sľubujú rýchlosť, nízku cenu a „žiadne halucinácie“.

Otázka tohto týždňa: ak je úlohou modelu vyberať, vyberie model stavaný len na výber presnejšie a rýchlejšie, a existuje lokálny, ktorý zvládne slovenčinu?

Čo sme postavili

Šesť ďalších spôsobov, ako urobiť tie isté rozhodnutia v tej istej kalkulačke, vedľa toho, ktorý používa dnes:

Motor Kde beží
dnes Qwen 3.6 35B vyťahuje všetky parametre (aj čísla a text) lokálne GPU
cloud Gemini Decision 1, jedna požiadavka so všetkými otázkami Google
A Qwen 3.6 35B odpovedá na tie isté výberové otázky ako Decision lokálne GPU
B Malé lokálne modely na tých istých otázkach: Qwen 3.5 9B, Gemma 4 E2B lokálne GPU
C Zero-shot klasifikátor: viacjazyčný mDeBERTa (NLI), negeneruje text CPU
D OpenJev-4B, otvorený model s rozhraním ako Jev Mac (MPS)

Každý motor dostane rovnaké otázky vygenerované zo súboru katalógu: produkt (štyri produkty z katalógu, „mimo katalógu“, „nejasné“) a jednu otázku na každý výberový parameter, každú s možnosťou „neuvedené“. Odpovede sa preložia do tvaru, ktorý kalkulačka už používa, takže engine na ceny sa nemení.

Hodnotili sme len to, čo vedia všetky motory. Rozhodovací model nevie vrátiť číslo ani text nápisu, preto rozmery a text nápisu do porovnania nevstupujú.

Hypotézy (napísané pred behom)

  1. Rozhoduje otázka, nie model. Náš lokálny LLM s tými istými výberovými otázkami ako Decision (A) je aspoň taký presný ako dnes a dopĺňa menej neuvedených hodnôt.
  2. Malý a rýchly. Malý lokálny model (B) odpovie do 2 s a urobí najviac o 5 chýb viac ako A.
  3. Klasifikátor na CPU. Zero-shot klasifikátor (C) dobre určí produkt (≥ 33/36), ale zlyhá na opravách a záporoch.
  4. Nezhoda ako kontrola. Keď sa dva motory nezhodnú, pozrie sa človek. To zachytí ≥ 80 % chýb a na kontrolu pošle < 10 % dopytov.

Kritérium ukončenia: ak A dorovná Decision, cloud pri rozhodnutiach nič nepridáva.

Testovacia sada

Ako dlho to trvalo

Jeden deň (19. 11. 2026) vrátane ťažšej testovacej sady a preverenia open-source alternatív.

Čo sme namerali

19. 11. 2026, 36 slovenských dopytov, 152 rozhodnutí, teplota 0. Dnešný motor a Gemini Decision 1 bežali dvakrát s rovnakým výsledkom, ostatné raz.

Motor Správne Produkt Doplnené, hoci neuvedené Dopyty bez chyby Medián času
Gemini Decision 1 (cloud) 150 / 152 36 / 36 1 34 / 36 0,6 s
Qwen 3.6 35B, extrakcia (dnes) 149 / 152 36 / 36 2 33 / 36 8,4 s
A · Qwen 3.6 35B, výberové otázky 142 / 152 33 / 36 0 28 / 36 6,2 s
B · Qwen 3.5 9B, výberové otázky 141 / 152 30 / 36 1 28 / 36 12,7 s
D · OpenJev-4B 135 / 152 34 / 36 10 22 / 36 9,5 s
B · Gemma 4 E2B, výberové otázky 133 / 152 30 / 36 5 23 / 36 3,7 s
C · mDeBERTa zero-shot (CPU) 99 / 152 17 / 36 15 9 / 36 3,1 s

Časy sú na dopyt po zahriatí. Dnešný motor za tých 8 s číta aj čísla a text. GPU server zdieľame s ďalšími ukážkami a OpenJev bežal na Macu bez optimalizovaných jadier, takže lokálne časy berte orientačne.

Kontrola nezhodou (človek uvidí každý dopyt, kde sa dva motory líšia):

Dvojica Dopyty na kontrolu Zachytené chyby
dnes + Gemini Decision 1 3 / 36 4 / 4
dnes + A (všetko lokálne) 10 / 36 13 / 13
dnes + B Qwen 9B (všetko lokálne) 9 / 36 14 / 14
dnes + D OpenJev 15 / 36 19 / 19

Hypotézy, verdikt

  1. Zamietnutá. Ten istý model s výberovými otázkami bol horší (142 vs. 149). Bol príliš opatrný: zo „zateplenej fasády“ urobil „podklad neuvedený“. Nikdy nedoplnil neuvedenú hodnotu, takže jeho chyby sú tie bezpečné, ale samotné otázky nie sú to, čo robí Decision dobrým.
  2. Zamietnutá. Žiadny malý model sa nepriblížil: Gemma bola dosť rýchla, no urobila 19 chýb; Qwen 9B bol celkom presný, ale na zdieľanom serveri pomalší ako veľký model.
  3. Napoly potvrdená, napoly horšia, než sme čakali. Klasifikátor na CPU bol slabý všade, aj pri určení produktu (17 / 36). Nikdy neodpovedal „nejasné“, „mimo katalógu“ ani „neuvedené“ a stále dosadzoval to isté mesto.
  4. Potvrdená pre dnes + Decision. Chyby oboch motorov sa prejavili ako nezhoda, 4 zo 4, a človeku išli 3 dopyty z 36. Čisto lokálne dvojice tiež zachytili všetko, no na kontrolu posielajú štvrtinu dopytov.

Čo sme sa naučili

O Jev a „otvorených alternatívach“

Jev od TypeSafe je hostovaný model bez verejných váh. Jeho tvrdenia (70–500 ms, „nevie halucinovať“) sú vlastné a kvalitu porovnáva s inými veľkými modelmi, nie so skontrolovanými odpoveďami. Prístup sme nemali, preto v tabuľke nie je. Otvorený kód, ktorý TypeSafe zverejňuje, je adaptér na porovnanie, ktorý nechá bežné LLM vracať pravdepodobnosti; nie je to Jev.

Hľadanie lokálnych alternatív k Jev vráti zmes. Každú sme preverili pred inštaláciou:

Čo odporúčame

Ďalší krok: vlastný slovenský rozhodovací model

Obmedzením je jazyk, takže riešením je tréning, nie prompt. Malý viacjazyčný enkodér (100–300M parametrov, napr. mmBERT alebo XLM-R) dotrénovaný na slovenčine by na tieto otázky odpovedal na CPU hlboko pod sekundu. Štítky netreba písať ručne:

  1. Veľký lokálny model označí niekoľko tisíc vygenerovaných dopytov a človek skontroluje vzorku.
  2. Každá kalkulácia, ktorú technológ schváli alebo opraví, je skontrolovaný príklad zadarmo.

Háčik: nový produkt alebo nová povolená hodnota znamená nový tréning, kým dnes stačí upraviť YAML súbor. To je ďalší experiment.

Limity experimentu

36 dopytov, 16 z nich sme napísali sami, väčšinou jeden beh na motor. Stačí to na smer a typy chýb, nie na percentá ako záruku. Lokálne časy sú zo zdieľaného GPU servera a z Macu, nie z vyhradeného hardvéru.

Kde sa to dá použiť

Pre koho

Tímy, ktoré už AI vypĺňajú štruktúrované údaje a chcú vedieť, kedy jej veriť, a firmy, ktoré zvažujú, či sa oplatí posielať text zákazníkov von do cloudového rozhodovacieho modelu.

Ako nasadzujeme lokálnu AI vo firmách →

Ukážeme vám to na vašich dátach.

Začíname bezplatným 15-minútovým auditom. Ak to dáva zmysel, overíme lokálnu AI na vzorke vašich dát (1–3 týždne, od 500 € bez DPH). Až potom, ak sa dohodneme, postavíme za 2–4 týždne funkčný prototyp. Riešenie bude bežať u vás. Vaše dáta zostanú vaše.

Rezervovať 15-min audit zdarmaZdarma · 15 min · online

Kalendár nefunguje? Napíšte nám: info@labzone.tech