You can deploy this model and start earning money today!

onedevelopment/
oneai-1.2-38m

Name: oneai-1.2-38m
Availability: InStock

onedevelopment/oneai-1.2-dataset

mit

Views

No views yet

OneAI 1.2 (38M Parameters)

Ten model to mały, lekki asystent konwersacyjny typu GPT-2 o rozmiarze ~38 milionów parametrów. Model ten został wyuczony od zera (from scratch) – bez wykorzystywania jakichkolwiek wcześniej pretrenowanych wag bazowych. Jego wiedza oraz sposób prowadzenia konwersacji opierają się wyłącznie na zestawie danych OneAI 1.2 Dataset składającym się z 50.000 syntetycznych przykładów SFT.

Szczegóły Treningowe

Architektura: GPT-2 (Custom)
Parametry: ~38M
- n_layer: 4
- n_head: 8
- n_embd: 512
- n_positions (Maksymalny kontekst): 512
Wagi początkowe: Losowa inicjalizacja (trained from scratch)
Tokenizator: Oparty na rozwiązaniu zapożyczonym z EleutherAI/pythia-14m (BPE), posiadający predefiniowany, dodany chat_template pod format uczycia konwersacyjnego z tagami User: oraz Assistant:.

Umiejętności Modelu

Ze względu na to, iż model uczył się na małym zbiorze specjalistycznych, syntetycznych zapytań nie dysponuje kompetencjami gigantów LLM na rynku. Skupia się w głównej mierze na:

Prowadzeniu małych konwersacji (Greetings): Potrafi naturalnie odpowiadać na ludzkie powitania i zaczynać dialog interakcją.
Zachowaniu tożsamości (Identity): Jest głęboko wyuczony, że reprezentuje asystenta o nazwie "OneAI 1.2" wspierającego w podstawowych zadaniach.
Podstawowa Wiedza Ogólna: Reprezentuje niewielki wycinek podstawowej, prostej wiedzy o świecie (np. wielkie miasta, planety układu słonecznego, pojęcia powiązane ze słowem "AI").

Uwaga: Model celowo nie był uczony matematyki, ani wykonywania obliczeń. Nie potrafi rozwiązywać skomplikowanych zagadek logicznych, jego przeznaczeniem jest szybkie testowanie mechanizmów Supervised Fine-Tuning bezpośrednio w notatniku (np. Google Colab).

Jak uruchomić z `transformers`?

Formatowanie promptu opiera się o rygorystyczny schemat budowania okna czatu w formacie User: ... \nAssistant:.

python

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel

repo_id = "onedevelopment/oneai-1.2-38m

tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = GPT2LMHeadModel.from_pretrained(repo_id)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

# Pamiętaj u użyciu odpowiedniego formatowania promptu!
prompt = "User: Hello!\nAssistant:"

outputs = pipe(
    prompt,
    max_new_tokens=40,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.eos_token_id
)

print(outputs[0]['generated_text'])

onedevelopment/oneai-1.2-38m

OneAI 1.2 (38M Parameters)

Szczegóły Treningowe

Umiejętności Modelu

Jak uruchomić z transformers?

onedevelopment/
oneai-1.2-38m

Jak uruchomić z `transformers`?