Wydanie eksperymentalne / Experimental release. Model nie jest przeznaczony do zastosowań produkcyjnych ani wysokiego ryzyka. Rozmiar może różnić się między rewizjami, ale cały model zawsze pozostaje poniżej 128M parametrów. / The model is not intended for production or high-risk use. Its size may vary between revisions, but the complete model always remains below 128M parameters.

Polski

Opis

Pollock to niewielki, anglojęzyczny model bazowy typu decoder-only, wytrenowany od zera jako czytelny eksperyment edukacyjny. Implementacja bazuje na nanoGPT i własnym tokenizerze byte-level BPE. Jest to model do uzupełniania tekstu, nie asystent konwersacyjny.

Nazwa luźno nawiązuje do gestu malarskiego Jacksona Pollocka: nanoGPT jest płótnem, na którym dane, konfiguracja i decyzje treningowe tworzą różne wzorce zachowania. Pełne dane techniczne tej wersji znajdują się w training-history/r006.md, a różnice między wydaniami w CHANGELOG.md.

Architektura i tokenizer

Właściwość	Wartość
Rewizja / wydanie	r006 / Pollock 1.4
Typ	decoder-only Transformer w stylu GPT-2
Warstwy / głowy / embedding	12 / 14 / 896
Maksymalny kontekst	1024 tokeny
Słownik	12 288 tokenów
Parametry nanoGPT	126 637 952
Łączne unikalne parametry trenowalne	127 555 456
Tokenizer	byte-level BPE, pretokenizacja w stylu GPT-2
Tokeny specjalne	`<\|endoftext\|>`, `<\|im_start\|>`, `<\|im_end\|>`

Artefakt Transformers ma 127 674 624 parametry, w tym 119 168 zerowych parametrów bias dla zgodności z GPT2LMHeadModel. Natywny model był trenowany z bias=False.

Dane i trening

Model wytrenowano na wersji V2 datasetu SlayerLab/minimal-en-corpus-2.5b przypiętej do commita d68d992. Jest to subiektywnie dobrana mieszanka 15 anglojęzycznych źródeł po filtrowaniu języka, deduplikacji dokładnej i przybliżonej, decontaminacji benchmarków oraz dodatkowym czyszczeniu boilerplate'u i błędnie połączonych rekordów. R006 wraca do tokenizera używanego przez r003-r004; nie jest on zgodny z tokenizerem r005 poza rozmiarem słownika i identyfikatorami tokenów specjalnych.

Parametr	Wartość
Tokeny treningowe / walidacyjne	2 689 323 439 / 5 236 486
Finalny checkpoint	aktualizacja 22 003
Przetworzone tokeny	10 814 914 560 (około 4,02 epoki)
Sekwencja / micro-batch na GPU	1024 / 12
Akumulacja globalna / na GPU	40 / 20 micro-stepów
Effective batch	491 520 tokenów
Optymalizator	fused AdamW, betas 0.9/0.95
Learning rate	4e-4 → 4e-5, cosine decay
Warmup / weight decay / grad clip	440 / 0.1 / 1.0
Precyzja	BF16
Sprzęt	2× NVIDIA GeForce RTX 4090
Framework	PyTorch 2.8.0+cu128, nanoGPT commit `3adf61e`

Ewaluacja

Loss treningowy szacowano na stałych podzbiorach po 1 228 800 tokenów na split. Finalny checkpoint uzyskał validation loss 2.536357; najlepszy wynik to 2.536231 po 10 813 440 000 przetworzonych tokenów. Nie należy porównywać tych wartości bezpośrednio z r005, ponieważ r006 używa innego korpusu, tokenizera i zbioru walidacyjnego.

Benchmarki wykonano zero-shot na pełnych splitach przy użyciu lm-evaluation-harness 0.4.12, batch size 8 i BF16.

Benchmark	Główna metryka	Wynik	Próbki
BLiMP	acc	0.769164	67 000
LAMBADA	acc	0.276926	5 153
HellaSwag	acc_norm	0.301334	10 042
PIQA	acc_norm	0.596844	1 838
SciQ	acc_norm	0.664000	1 000
ARC-Easy	acc_norm	0.434343	2 376
ARC-Challenge	acc_norm	0.241468	1 172

LAMBADA osiągnęła perplexity 49.907207. Pełne metryki i protokół zapisano w benchmarks/english.json.

Użycie z Transformers

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "SlayerLab/pollock-mini-lm-125m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

inputs = tokenizer("Once upon a time", return_tensors="pt")
output = model.generate(
    **inputs, max_new_tokens=100, do_sample=True, temperature=0.7, top_k=50
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Model używa standardowego GPT2LMHeadModel; trust_remote_code=True nie jest potrzebne.

Stałe próbki inferencji

Wspólny zestaw fixed-sampling-v1 pokazuje te same cztery prompty wygenerowane przez r001-r006. Wszystkie opublikowane rewizje są ładowane z pełnych, niezmiennych SHA commitów, a SHA-256 każdego pliku z wagami jest sprawdzane przed inferencją. Referencyjny protokół używa macOS 26.2 na arm64, CPU, float32, jednego wątku, Transformers 5.15.1, seed 1337 resetowanego dla każdego promptu, temperature 0.7, top-k 50 i limitu 100 nowych tokenów.

Rewizja	Wydanie	Wagi	Historia
r006	Pollock 1.4	`a2e53d9`	`r006.md`
r005	Pollock 1.3	`e780025`	`r005.md`
r004	Pollock 1.2	`30feb81`	`r004.md`
r003	Pollock 1.1	`698984b`	`r003.md`
r002	Pollock 1.0	`5e571cd`	`r002.md`
r001	poprzednik eksperymentalny	`5b8f825`	`r001.md`

Pełne teksty są przeznaczone do porównywania zachowania, nie są benchmarkiem ani deklaracją poprawności. results.json zapisuje także dokładne identyfikatory tokenów, a generate.py odtwarza i weryfikuje cały zestaw. Dokładny replay potwierdzono w zapisanym środowisku; inny system operacyjny lub CPU może zmienić wynik samplingu. Starsze próbki osadzone w historii r001 pozostają historycznym zapisem i nie są używane do bezpośredniego porównania, ponieważ nie przypięto całego ich środowiska wykonania.

Ograniczenia i odpowiedzialne użycie

Jest to surowy model bazowy bez instruction tuningu, RLHF ani alignmentu.
Może halucynować oraz generować treści toksyczne, stronnicze, niebezpieczne lub podobne do danych treningowych.
Mały rozmiar ogranicza wiedzę, rozumowanie, spójność długiego tekstu i jakość kodu.
Model trenowano i oceniano głównie po angielsku.
Nie należy używać go do porad medycznych, prawnych i finansowych, decyzji o ludziach ani zastosowań wysokiego ryzyka.
Użytkownik odpowiada za ocenę warunków źródeł danych dla swojego zastosowania.

English

Overview

Pollock is a small English decoder-only base language model trained from scratch as a readable educational experiment. It is based on nanoGPT and a custom byte-level BPE tokenizer. It is a completion model, not a conversational assistant.

The name loosely refers to Jackson Pollock's painterly gesture: nanoGPT is the canvas on which data, configuration, and training decisions create different behavioral patterns. See training-history/r006.md for the complete technical record and CHANGELOG.md for release-to-release changes.

Architecture and tokenizer

Property	Value
Revision / release	r006 / Pollock 1.4
Type	GPT-2-style decoder-only Transformer
Layers / heads / width	12 / 14 / 896
Maximum context	1,024 tokens
Vocabulary	12,288 tokens
nanoGPT parameters	126,637,952
Total unique trainable parameters	127,555,456
Tokenizer	byte-level BPE, GPT-2-style pretokenization
Special tokens	`<

The Transformers artifact has 127,674,624 parameters, including 119,168 zero-valued compatibility bias parameters required by GPT2LMHeadModel. The native model was trained with bias=False.

Data and training

The model was trained on V2 of SlayerLab/minimal-en-corpus-2.5b, pinned to commit d68d992. It is a subjectively selected mixture of 15 English-language sources after language filtering, exact and approximate deduplication, benchmark decontamination, and additional cleanup of boilerplate and incorrectly concatenated records. R006 returns to the tokenizer used by r003-r004; it is not compatible with r005's tokenizer beyond the vocabulary size and special-token IDs.

Setting	Value
Training / validation tokens	2,689,323,439 / 5,236,486
Final checkpoint	update 22,003
Token presentations	10,814,914,560 (approximately 4.02 epochs)
Sequence / micro-batch per GPU	1,024 / 12
Global / per-GPU accumulation	40 / 20 micro-steps
Effective batch	491,520 tokens
Optimizer	fused AdamW, betas 0.9/0.95
Learning rate	4e-4 → 4e-5, cosine decay
Warmup / weight decay / grad clip	440 / 0.1 / 1.0
Precision	BF16
Hardware	2× NVIDIA GeForce RTX 4090
Framework	PyTorch 2.8.0+cu128, nanoGPT commit `3adf61e`

Evaluation

Training-time loss was estimated on fixed subsets of 1,228,800 tokens per split. The final checkpoint achieved validation loss 2.536357; the best result was 2.536231 after 10,813,440,000 token presentations. These values are not directly comparable with r005 because r006 uses a different corpus, tokenizer, and validation set.

Benchmarks used complete splits with lm-evaluation-harness 0.4.12, zero few-shot examples, batch size 8, and BF16.

Benchmark	Primary metric	Score	Samples
BLiMP	acc	0.769164	67,000
LAMBADA	acc	0.276926	5,153
HellaSwag	acc_norm	0.301334	10,042
PIQA	acc_norm	0.596844	1,838
SciQ	acc_norm	0.664000	1,000
ARC-Easy	acc_norm	0.434343	2,376
ARC-Challenge	acc_norm	0.241468	1,172

LAMBADA perplexity was 49.907207. Full metrics and protocol details are recorded in benchmarks/english.json.

Usage

Use the Transformers example in the Polish section. The artifact uses standard GPT2LMHeadModel; trust_remote_code=True is unnecessary.

Fixed inference samples

The shared fixed-sampling-v1 suite runs the same four prompts on r001-r006. All published revisions are loaded from full immutable commit SHAs, and every weight-file SHA-256 is verified before inference. The reference protocol uses macOS 26.2 on arm64, CPU float32 with one thread, Transformers 5.15.1, seed 1337 reset for every prompt, temperature 0.7, top-k 50, and a 100-new-token limit.

Revision	Release	Weights	History
r006	Pollock 1.4	`a2e53d9`	`r006.md`
r005	Pollock 1.3	`e780025`	`r005.md`
r004	Pollock 1.2	`30feb81`	`r004.md`
r003	Pollock 1.1	`698984b`	`r003.md`
r002	Pollock 1.0	`5e571cd`	`r002.md`
r001	experimental predecessor	`5b8f825`	`r001.md`

The complete texts are behavioral examples, not benchmarks or factuality claims. results.json also records exact token IDs, while generate.py reproduces and verifies the suite. Exact replay was confirmed in the recorded environment; another operating system or CPU can change sampled outputs. The older samples embedded in the r001 history remain a historical record and are excluded from direct comparison because their complete execution environment was not pinned.

Limitations and responsible use

This is a raw base model without instruction tuning, RLHF, or safety alignment.
It may hallucinate and generate toxic, biased, unsafe, or training-like text.
Its small size limits knowledge, reasoning, long-form coherence, and code quality.
It was trained and evaluated primarily in English.
Do not use it for medical, legal, financial, high-impact, or production decisions without independent safeguards.
Users must evaluate upstream dataset terms for their intended use.

Licencja / License

Kod nanoGPT jest na licencji MIT. Korpus łączy źródła o różnych warunkach i nie ma jednej wspólnej licencji, dlatego model oznaczono jako license: other. Szczegóły: LICENSE.md i karta datasetu.

nanoGPT code is MIT-licensed. The corpus combines sources governed by different terms and has no single common license, so the model is marked as license: other. See LICENSE.md and the dataset card.

Pochodzenie / Attribution

Model i dataset / Model and dataset: Dawid Majewski / SlayerLab. Trening bazuje na / Training is based on karpathy/nanoGPT.