Két helyi modell, 13 feladat: melyik ír jobban magyarul?

Miért kellett egy második teszt?

Egy levél keveset mutat. Az első bejegyzésben néhány rövid feladattal választottam alapmodellt a brAInharborhoz, és a gemma4:26b lett az. Egy kisvállalkozásnál viszont a modellnek szabályzatot kell összefoglalnia, levélből adatot kigyűjtenie, helyesírást javítania, és a számokat is pontosan kell visszaadnia.

Ezért írtam egy alaposabb tesztet, és két modellt mértem össze: a gemma4:26b-t és a qwen3.5:35b-a3b-t, amely az előző körben a legerősebb kihívó volt. Mindkettő úgynevezett Mixture-of-Experts modell: sok paraméterük van, de egy-egy szónál csak egy kis részük dolgozik (a qwennél körülbelül 3 milliárd, a gemmánál körülbelül 4 milliárd). Ezért egy 12 GB-os videokártyán is elfutnak.

A teszt: 13 feladat, 208 válasz

A 13 feladat mind olyan, amit egy kis cég irodájában tényleg kérnének:

• hivatalos levelek: késésről, panaszra, egy kedvezménykérés részleges elutasításáról, és egy késési értesítő megadott névvel, rendelésszámmal és dátummal;
• egy barátságos meghívó a kollégáknak, egy GDPR-magyarázat, egy belső közlemény összefoglalása és egy angol e-mail fordítása;
• helyesírás-javítás: egy rövid ügyfélértesítőbe négy hibát rejtettem („lessz”, „feldolgozuk”, „rendelésekett”, „egyenlőre”);
• adatkinyerés egy rendelő levélből, amelyből szándékosan hiányzik a telefonszám;
• három feladat egy kitalált cég egyoldalas távmunka-szabályzatáról: egy kérdés, amelyre benne van a válasz, egy, amelyre nincs (ki a cég adatvédelmi tisztviselője), és egy ötpontos összefoglaló új munkatársnak.

Mindkét modell ugyanazt a magyar rendszerpromptot kapta, 0,3-es hőmérséklettel. Gondolkodás nélkül minden feladatot ötször futtattam, gondolkodással háromszor: ez összesen 208 válasz. A gép egy RTX 5070-es (12 GB) videokártya 32 GB RAM-mal, a modelleket az Ollama 0.40.9 futtatta.

A tesztfuttató néhány dolgot magától ellenőriz: a Hunspell által nem ismert szavakat, az idegen betűket, a korábban látott tipikus hibákat, a hiányzó tényeket, és azokat a számokat, amelyek nem szerepelnek a kérdésben. Ez csak szűrő: a végső ítélethez mind a 208 választ el kellett olvasni.

Sebesség

Gondolkodás nélkül a qwen a gyorsabb, de egy hosszú dokumentumnál eltűnik a különbség. Gondolkodással mindkettő többszörösen lassabb.

A qwen gyorsabban ír, de lassabban olvas: a hosszú kérdést körülbelül 720 token/s sebességgel dolgozza fel, a gemma 980 token/s-mal. A qwen 22 GB-os, így 12 GB-os kártyán nagyobb része a rendszermemóriában van; hogy mégis gyorsabban generál, az valószínűleg annak köszönhető, hogy szavanként kevesebb paramétere dolgozik.

Gondolkodás nélkül: kétféle hiba

Gondolkodás nélkül a qwen hibázott kevesebbet, de a két modell hibái más természetűek. A gemma ugyanazt a hibát ismétli, a qwen ritkábban téved, de akkor hihetően.

A gemma ugyanarra a kérdésre szinte szóról szóra ugyanazt válaszolja, ezért egy-egy hibája rendszerint minden futásban előjön:

• A kedvezménykérésre adott válaszban a számokat betűvel próbálta leírni, és nem sikerült neki: „a kért húsz száz százalékos kedvezményt nem tudjuk biztosítani” (a kérés 30% volt), „Ez az ajánlat kizárólag november trzinta napjáig érvényes.”
• A helyesírás-javításnál három hibát jól javított, de az „egyenlőre” szóból „egyidejűleg” lett: „Az utánvétes fizetés egyidejűleg szünetel.” Ez már mást jelent.
• A szabályzat összefoglalójában ötből négyszer ez áll: „Kedente mindenki az irodában tart presence”.
• A késési levelek tárgyában mind a tízszer „késedelmééről” szerepel.

A qwen hibái szórványosak, de hihetően hangzanak:

• A nyitott feladatnál („Írj egy rövid, hivatalos levelet egy ügyfélnek egy késedelmes szállításról”) ötből négyszer kitalálta, hogy a csomag „jövő héten” érkezik, kétszer rendelésszámot is adott hozzá („12345”).
• Amikor a következő rendeléshez kellett ingyenes szállítást ajánlani, kétszer ezt írta: „A jövőbeni vásárlásaihoz ingyenes szállítást biztosítunk.” Ez több, mint amit a cég ígérni akart.
• Kisebb nyelvi botlások: „Szia Mindenkinek!” (mind az ötször), „Sajnálattal vettük tudomására”, „Kérem, bocsánatot kérünk”, „Köszönjük, hogy felhívta figyelmét a problémára”.

Gondolkodással: lassabb, de nem jobb

Gondolkodással mindkét modell többszörösen lassabb lett (a qwen 2,7 helyett 40,5, a gemma 3,3 helyett 18,4 másodperc), de nem lett jobb: a régi hibák egy része eltűnt, helyettük újak jöttek.

A gemma gondolkodva már jól írta a számokat („A kért 30%-os kedvezményt sajnos nem tudjuk biztosítani”). Cserébe:

• a helyesírás-javításnál háromból kétszer végtelen gondolkodásba ragadt, és 171 másodperc után üres választ adott;
• a szabályzat összefoglalójában nem létező szóalakokat gyártott: „rögbítsd”, „szólj a vezetődbel”, „A munkaidődöt naponta rögzítsd”;
• a „késedelmééről” továbbra is minden késési levélben ott van.

A qwen gondolkodva nem talált ki részleteket, a hiányzó adatok helyére kitöltendő mezőket írt („[dátum]”). Cserébe:

• a panaszra adott válaszból háromból kétszer kihagyta a kért bocsánatkérést, csak annyit írt, hogy „Sajnáljuk a kellemetlenséget”;
• a helyesírás-javításnál kétszer benne hagyta az „egyenlőre” hibát;
• egyszer értelmezési hibát vétett: „Ha hetente legalább négy napot távmunkában dolgozol, havi átalányt is kapsz.” A szabályzatban havi négy nap áll, és hetente legfeljebb két nap távmunka engedélyezett.

A gondolkodás tehát nem javít a magyar szövegen, csak lassít. A brAInharborban kikapcsolva marad.

Amiben mindkettő jó

A szabályzatra vonatkozó kérdésekben és az adatkinyerésben mindkét modell hibátlan volt, gondolkodással és nélküle is.

• Kérdés a szabályzatról. Arra, hogy mekkora eszköztámogatás jár, mire költhető és hogyan igényelhető, mind a 16 válasz helyes volt: 40 000 forint, a felsorolt eszközök, a HR-portál, a számla és a 30 napos határidő.
• Hiányzó adat. Az adatvédelmi tisztviselőről egyik modell sem talált ki semmit, mind a 16 válasz szerint a szabályzat nem tartalmazza. A gemma egy mondatban felelt („A szabályzat nem tartalmazza ezt az információt.”), a qwen többnyire hozzátette a HR és az informatika e-mail-címét is.
• Adatkinyerés. Mind a 16 válaszban minden adat a helyén volt, a hiányzó telefonszám mellett pedig ott állt, hogy „nincs megadva”.

Ahol a feladat megadta a tényeket, ott egyik modell sem talált ki számot. Kitalálni ott kezdtek, ahol a feladat hagyott rá helyet.

Mit tanultam?

1. Egy levél keveset mutat. Az első körben a két modell nagyjából egyformának tűnt. A nagy különbségek a helyesírás-javításban, a számokban és egy valódi dokumentum összefoglalásában jöttek elő.
2. A hihető hiba a veszélyesebb. A gemma torz szavai („trzinta”, „presence”) olvasáskor azonnal kitűnnek. A qwen kitalált határideje vagy túl bőkezű ígérete természetesen hangzik, ezért könnyebb átsiklani felette.
3. A gondolkodás nem segít a magyaron. Többszörös időbe kerül, és csak átrendezi a hibákat.
4. Az átolvasás nem spórolható meg. Egy helyi modell ma jó piszkozatot ír magyarul, de kiküldés előtt valakinek el kell olvasnia, különösen a számokat, a dátumokat és az ígéreteket.

Melyik lett az alapmodell?

A számok a qwen3.5:35b-a3b mellett szólnak: gondolkodás nélkül gyorsabb, és a gyakorlati feladatokban kevesebbet hibázik. Ára is van. 22 GB-os, ezért 12 GB-os videokártya mellett 32 GB rendszermemória kell hozzá, és a hibáit nehezebb észrevenni. A gemma4:26b kisebb gépen is elfut, és a hibái kiszámíthatók.

Licenc szempontjából mindkettő használható üzleti célra: a Gemma 4 és a Qwen3.5-35B-A3B is Apache 2.0 licencű.

A döntés: a brAInharbor alapmodellje a qwen3.5:35b-a3b lett, gondolkodás nélkül. A pontos számok és a jelentést megtartó helyesírás-javítás nekem többet ér, mint a kisebb memóriaigény. A hihető hibák ellen pedig az segít, amit a dokumentációban is kérek: kiküldés előtt valaki olvassa át a számokat, a dátumokat és az ajánlatokat.

A gemma4:26b nem tűnik el. Akinek kevesebb memóriája van, a beállításfájl két sorának átírásával (HU_BASE_MODEL=gemma4:26b és CHAT_MODELS=gemma4:26b) arra építheti a brAInharbor magyar modelljét, ugyanazzal a rendszerprompttal és hőmérséklettel.

Az átállás után a kész modellel is lefuttattam a 13 feladatot, háromszor. 39 válaszból 35 szóról szóra megegyezett azzal, amit a qwen ugyanazzal a seeddel délelőtt adott. A maradék négy a délelőtti futás első négy kérése volt, közvetlenül a modell betöltése után; hogy ott miért tért el a szöveg, azt még nem tudom. A 16 ezer tokenes kontextus nem lassított: a medián válaszidő így is 2,5 másodperc maradt.