Magyar helyesírás-javító és ékezetesítő — Ollama és llama.cpp
Nem írja át a szövegedet. Kijavítja.
Méret
GGUF
Saját
Licenc
Készítette: Flashtond
Fut telefonon · Elmagyarázza a javításait · Békén hagyja a hibátlan szöveget
Két dolgot tud, amit érdemes kipróbálni
1. Helyesírás és nyelvhelyesség
Tegnap a boltba voltam és vettem egy nagy mértékben olcsó kenyeret.
↓
Tegnap a boltban voltam, és vettem egy nagymértékben olcsó kenyeret.
2. Ékezetesítés
Telefonon, angol billentyűzeten, sietve senki nem tesz ki ékezetet. Írd le ahogy esik, a Piros Toll helyreteszi:
A gyerekek mar reg alszanak, csendben gyere haza es ne kapcsold fel a villanyt.
↓
A gyerekek már rég alszanak, csendben gyere haza és ne kapcsold fel a villanyt.
Kerlek kuldd el a szamlat meg ma delutan, mert surgos.
↓
Kérlek küldd el a számlát még ma délután, mert sürgős.
Eredmények
Két tesztsoron mérve. A valódi tesztsor kézzel írt mondatokból áll: olyan hibákkal, amiket magyarul írók tényleg elkövetnek, és nyolc szándékosan hibátlan mondattal, amikhez nem szabad hozzányúlni.
Mérőszám
Szintetikus teszt
Valódi teszt
Precizitás
85,3 %
74,3 %
Fedés
73,7 %
55,3 %
F0.5
82,7 %
69,5 %
Tökéletes javítás
55,0 %
58,8 %
Hibátlant békén hagy
90,0 %
87,5 %
Minden második mondat szó szerint tökéletesen jön vissza, és a hibátlan szövegek 87,5%-át érintetlenül hagyja. Ez utóbbi a legfontosabb szám: egy javítóeszköz akkor használható, ha megbízol benne.
Az F0.5 a fő mérőszám, mert egy javítóeszköznél a hamis javítás súlyosabb hiba, mint a kihagyott. Ha a modell elront egy helyes szót, onnantól mindent ellenőrizned kell.
1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
34MODEL ="Flashtond22/Piros-Toll"5tok = AutoTokenizer.from_pretrained(MODEL)6model = AutoModelForCausalLM.from_pretrained(MODEL, dtype=torch.bfloat16)78szoveg ="Tegnap a boltba voltam es vettem egy nagy mertekben olcso kenyeret."9be = tok("<hiba>"+ szoveg +"<javit>", return_tensors="pt")10ki = model.generate(**be, max_new_tokens=300, do_sample=False)11print(tok.decode(ki[0][be.input_ids.shape[1]:], skip_special_tokens=True))
A formátum egyszerű: <hiba> + a szöveged + <javit>, és a modell a javított változatot írja.
Beállítások
Beállítás
Érték
Miért
do_sample
False
A javítás nem kreatív feladat. Mintavételezéssel a modell átfogalmazhat.
temperature
0.0
Ugyanez az ok.
bemenet
egy bekezdés
Hosszabb szöveget bontsd bekezdésekre.
Hol fut el
Formátum
Méret
Hardver
GGUF Q4_K_M
56 MB
Bármi. Telefon, Raspberry Pi, tíz éves laptop.
GGUF Q8_0
94 MB
Processzoron gyors, videokártya nem kell.
bf16
177 MB
Bármelyik videokártya.
Ez a modell szándékosan kicsi. Egy helyesírás-javítónak ott kell futnia, ahol a felhasználó van, nem a felhőben.
Korlátok
Helyesírást és nyelvhelyességet javít. Nem stilisztikai szerkesztő, nem fogalmaz újra, és nem ellenőrzi, hogy amit írtál, az igaz-e.
Ritka szavakon, szakszavakon és szokatlan tulajdonneveken szándékosan óvatos: ha valamit nem ismer, inkább nem nyúl hozzá. Cserébe nem is ront el neveket.
A teljesen ékezetlen szövegnél a rövid, ritka szavakat néha eltéveszti. Hosszabb, összefüggő mondatokon lényegesen pontosabb, mert a szövegkörnyezet segít.
A javasolt változtatásokat érdemes átnézni. A magyar helyesírásban sok eset van, ahol a szövegkörnyezet dönt.
Eredet
A modell súlyai véletlen inicializálásból, kizárólag saját tanítási eljárással készültek. Nem tartalmaznak más modellből átvett paramétert. A tokenizer is saját, magyar szövegre tanítva.
Az architektúra a nyilvánosan dokumentált Llama-típusú felépítést követi, hogy a modell a szabványos futtatókörnyezetekben működjön.
Licenc
CC BY-NC-ND 4.0: Nevezd meg, Ne add el, Ne változtasd.
Amit megtehetsz
Amit nem
Letöltöd és futtatod bárhol
Kereskedelmi felhasználás
Magáncélra, tanuláshoz, kutatáshoz használod
Továbbtanítás és a származék terjesztése
Változatlanul megosztod, a szerző megnevezésével
A szerző megnevezésének elhagyása
Kereskedelmi felhasználáshoz külön engedély szükséges.
Kötelező megnevezés: „Piros Toll, készítette Flashtond (CC BY-NC-ND 4.0)"
