This model has been fine-tuned exclusively in Hungarian; it has not been modified or further trained in English or any other language!
A HOTHUN modellekről
Ez egy hobbiból készült, nsfw projekt, melynek célja, hogy azokat a modelleket, melyek eddig is tudtak valamilyen szinten magyarul, nsfw-képessé tegyem chatelésre, a modell stílusának megőrzésével vagy minimális változtatásával. Tehát a modellek elsősorban privát chatre készültek, 4096-os ctx ablakméretre.
Fontosnak tartottam, hogy a modellek mobilon is futtathatók legyenek, viszont ez az elhatározásom komoly korlátokat állított fel:
a forrásmodell ne legyen 8B-nél nagyobb (maximum 9B)
alapból tudjon magyarul valamilyen szinten
az eredeti modellnek is legyenek nsfw képességei
Q4_0 kvantáláson (a mobilok hardveres támogatása miatt) ne essen szét túlságosan a magyar nyelv.
lehetőleg megmaradjon az eredeti modell gondolkodása, stílusa
azaz azt nyújtsa a modell, amit eredetileg angolul, csak magyar nyelven.
Több kihívással kellett szembenéznem:
az eredeti magyar datasetek szemetesek. Tehát amikkel az eredeti alapmodellt (például a Llama3 vagy Qwen) betanították, nem voltak kipucolva, nyelvtani és elütési hibákat tartalmaztak. Ezek a hibák a kis méretű modelleknél még inkább megjelennek, azaz felerősödik a "zaj".
új szavakat kellett magyarul megtanulnia a modellnek, mert az eredeti magyar datasetek nem rendelkeznek nsfw szókinccsel, azaz nem fedik le teljesen a magyar nyelvet. Így az eredeti modellek a válaszadáskor nem ismerték magyarul azt a szót, amit angolul igen.
az új szavakat is helyesen ragozza, de a régi, hibás szavak ragozási bakijait is csiszolni kellett.
a magyar nyelv és ragozás kihívásai, szépségei, azaz a modell magyarul is képes legyen úgy fogalmazni, ahogy angolul.
az edzett modellek már finomhangolások, azaz torzult bennük a magyar nyelv az eredeti alapmodellhez képest, viszont a stílusuk egyedibb, mint az eredetié.
Ezután olyan magyar adatbázisokat kellett keresnem, melyek nyilvánosan használhatók (ld. lentebb), illetve copyright-mentesek. Ezek között szintén nem volt nsfw szókincsű adatbázis, ezért a Gemini segítségével jó pár datasetet generáltattam, melyek egy része a nyelvtani kiigazításra összpontosítottak, más része az nsfw, vulgáris, obszcén szavakat helyezi előtérbe. Tehát a HOTHUN modellek erősen vulgáris nyelvezetűek, emiatt elsősorban személyes felhasználásra javaslom őket!
A modellek érdekessége, hogy kétféle modellbeállításon másképp működnek.
Mirostat+Temp használatával sokkal természetesebbek, jobban átlátják a helyzetet, és logikusabb válaszokat adnak, de egy idő után hurokba kerülnek.
Hagyományos paraméterekkel (Temp, Top-P, Top-K, Min-P, Repetition Penalty) sokkal kötetlenebb a beszélgetés, de nehezebb a történetkövetés, azaz a modell inkább önfejű.
Általában érdemes ezt a kettőt kombinálni úgy, hogy ha a Mirostat kezd hurokba fordulni (ismétel, hasonló a szöveg mintázata), érdemes kicsit kizökkenteni a hagyományos paraméterek használatával, majd pár válasz után visszalépni a Mirostat-os módba. Szerencsére a legtöbb LLM program már támogatja a paraméter-profilok mentését, így pár kattintással vissza lehet jutni.
Ha nem jó választ kapnál, generáld újra, általában második-harmadik esetben már jó válaszokat kapsz, de ez a szóhasználattól, system prompttól, valamint karakterlaptól is erősen függ!
A magyar nyelv miatt más paramétereket kell beállítani, mint az eredetileg ajánlottak!
Melyiket válasszam?
A Stheno közvetlen, nyersebb stílusú, szerepjátékokra is jó, Llama3 formátumú
A Hermes inkább mesélő, narratív, ChatML formátumú
v1.3 modellek véltozásai az 1.2 verzióhoz képest
Az alapmodellt először előedzettem a saját könyveim szövegével, hogy kicsit javuljon a nyelvtan, majd ezt finomhangoltam. Tesztjeim szerint egy fokkal jobb lett a magyarja, de még lehetne mit csiszolni, vagy több mintaszöveget adni (csak akkor a sok szöveg stílusa nagyon ráülne a modellre). Ha pedig nem tetszik a válasz, generáld újra.
Az edzési mintákból kivettem egy roleplay datasetet, mert kiderült, ez problémát okozott a szerepjátékoknál. Mivel a modellek jók szerepjátékokban, ezért csak egy kisebb csiszolást végeztem rajta.
Hozzáadtam egy 100-as mintájú ruha-datasetet, és bár jobb lett a ruhák értelmezése és viszonya az emberi testen, még mindig akadhatnak érdekes együttállások. Ezek modellből is jöhetnek, később kiderül, kell-e még több minta vagy sem.
A Q4_0 modellt teszteltem ChatterUI-n, és elsősorban egy-két birtokos ragozási probléma merült fel (férjem/férjed), de alapjában jó válaszokat kaptam.
A temp-et érdemes 0.4-0.5-ön használni, 0.6-on kezd kicsit elvadulni. 0.5-ön is elég forró lesz, higgyétek el.
Generálási paraméterek
Minden LLM programban és kvantálással más-más paramétereket kell beállítani a jó válaszok érdekében! A ChatterUI-ban ezeket találtam a legjobbnak:
-- Mirostat módban (az alapbeállítások jók, de néha érdemes játszani velük):
-- Hagyományos módban - mindkét modellhez (engedd el a gyeplőt, jobb lesz, hidd el):
Temp: 0.4-0.5
Top-P: 1
Top-K: 0
Min-P: 0
Repetition Penalty Range: 1024 (ha a modell nagyon beragad a szövegbe, vedd le akár 384-ig)
Repetition Penalty: 1.03 vagy 1.1 (1.03 esetén simulékonyabb, 1.1-gyel kicsit radikálisabb és logikusabb)
Presence Penalty: 0 (maximum 0.1-ig menj fel, illetve 0.5 jó a modell kizökkentésére)
A Hagyományos mód értékei eltérnek az eredeti modelltől a magyar nyelv ragozásai miatt. Érdemes teljesen elengedni a gyeplőt (Top-P, Top-K, Min-P), tapasztalataim szerint jobb lesz a szöveg ezek nélkül, de kinek mi a szimpatikus. Ettől függetlenül mindkét modellnél próbáld ki még az alábbi beállítást is, bár a tesztjeim szerint izgalmas válaszok születnek:
Ezekkel a beállításokkal jó szöveget kell adnia, ha a ragozás sok helyen szétesik vagy nem jól válaszol, akkor ellenőrizd a System promptot, rövidítsd a karakterlapot, ellenőrizd a beírt válaszodat! Ha találsz jobb paramétereket, a program megjelölésével jöhetnek kommentbe!
Roleplay/szerepjáték: Stheno modellel jobban működik. Válasznál javaslom, hogy legalább két ponton erősítsd meg, hogy mit választasz a stabilabb folytatásért. Például: "A kettest választom, a lelakatolt ajtót." A System promptba vagy a karakterlap elejére érdemes beírni egy ilyen szöveget is: "Ez egy szerepjáték, a válaszaid végén mindig adj 2-5 számozott lehetőséget!"
További tervek
a datasetek javítása: ez lassú munka, mert nem csak nyelvtanilag és fogalmazásban, helyesírásban kell átnéznem, hanem igyekszem a Gemini által generált mintákat is "zajosítani" (sokszor hasonló szöveget, történetet generált, amit a képzés során átvehetett). Igyekszem természetesebbé tenni a mintákat.
más 7-9B-s modellek edzése (például Magnum, Qwen) a tisztított datasetekkel.
4B-s modellek nincsenek tervben. Qwen3 4B-vel kísérleteztem, de olyan kicsi a modell edzhető területe, hogy igencsak szűkre kellene állítani a generálási paramétereket, hogy viszonylag releváns válaszokat kapjak (a helyes ragozás pedig álom). Lorával ezt nem tudom megtörni, csak egy teljes finetune oldhatná fel ezt a problémát, amihez nincs elég datasetem, sem pénzem, sem időm, sajnálom.
datasetek megosztása, amikor úgy érzem, kipucoltam ezeket. Figyelem, ezek (időnként durva és nem konszenzusos) nsfw párbeszédeket és szituációkat is tartalmaznak, szóval még kitalálom, hogyan oszthatom meg.
