مدل زبانی بومی، حماسی و دستورپذیر زبان پارسی | 36 لایه ژرف
A Deeply Layered, Instruct-Tuned Persian Language Model
📸 نگاهی به پروژه / Project Showcase
Rostam Architecture Pipeline
📝 معرفی پروژه (Persian)
پروژه رستم (Rostam) یک تلاش مستقل و گامبهگام برای خلق یک مدل زبانی تخصصی (LLM) در زبان پارسی است که تکامل خود را از ریشههای حماسی و ادبیات کهن آغاز کرده و اکنون به توانایی درک دستورات مدرن (Instruct-Tuning) رسیده است. در آخرین بهروزرسانی (Rostam V4)، ساختار مدل با استفاده از متدولوژی Progressive Layer Stacking به ۳۶ لایه ژرف ارتقا یافته و وزنهای آن روی اقیانوسی از دادههای محاورهای و فرمانی صیقل داده شدهاند تا بدون از دست دادن ریشههای ادبی خود، دستورات پیچیده کاربر را پردازش کند.
📜 بیلان و نقشه راه تکاملی دادهها (Dataset Evolution Roadmap)
رستم کورکورانه و از صفر روی دیتای مخلوط ترین نشده است؛ بلکه یک سیر تکاملی ارگانیک و لایه به لایه را طی کرده تا دانش ادبی عمیق را به منطق مدرن پیوند بزند:
فاز اول: سرآغاز حماسی (The Epic Genesis)
داده: ۹۹,۰۰۰ ردیف خالص و تفکیکشده از شاهنامه فردوسی.
هدف: یادگیری ساختار، فصاحت، وزن و ژنتیک زبان پارسی در بالاترین سطح بلاغت.
فاز دوم: گنجینه عرفان و غزل (The Classical Treasury)
فاز چهارم: جهش ساختاری اول (The Architectural Leap)
داده: ۱۰۰,۰۰۰ ردیف دوم دیتاست Persian Alpaca (بخش ۵۰k تا ۱۵۰k).
تغییرات معماری: جهش فرکانسی و ساختاری به ۲۴ لایه.
هدف: افزایش ظرفیت محاسباتی مدل برای تحلیل گزارههای طولانیتر.
فاز پنجم: مگا آپگرید ۳۶ لایه (The Mega Stack - Current V4)
داده: ۱۵۰,۰۰۰ ردیف سوم دیتاست Persian Alpaca (بخش ۱۵۰k تا ۳۰۰k).
تغییرات معماری: تکثیر و ارتقای پیشرفته به ۳۶ لایه مستقل (مدل فعلی).
هدف: تعمیق فهم مفاهیم انتزاعی، استدلالهای منطقی چندمرحلهای و هماهنگی کامل فرمت متن.
🛠️ مشخصات فنی و معماری (Technical Specifications)
Base Architecture: GPT-2 (Customized for Persian Language)
Number of Layers: 36 Layers (Scaled up via progressive block expansion)
Tokenizer: Custom Byte-Level BPE Tokenizer (Optimized for Persian character sets, minimizing token fragmentation)
Context Length: 256 Tokens
Total Parameters: 117.5M+ Active Parameters
Vocabulary Size: Resized & Synced with the dedicated Fast Tokenizer configuration
🇬🇧 English Project Summary
Rostam V4 is a specialized, deeply stacked Persian language model that bridges the gap between classical Persian literature and modern chat/instruct applications.
Instead of training on mixed data from scratch, Rostam undergoes a sequential continual pre-training and layer-stacking process. It started its journey by absorbing 99,000 pure rows of the Epic Shahnameh, followed by 111,000 couplets of classical poetry from Ganjoor while expanding to 14 layers.
To introduce instruction-following capabilities, it was exposed to the Persian Alpaca dataset. Throughout this phase, the architecture was dynamically scaled first to 24 layers and ultimately to 36 layers, covering a cumulative total of 300,000 instruction-response pairs. The resulting model retains an intricate understanding of Persian syntax and cultural nuances while being highly responsive to direct prompts and user commands.
🚀 نحوه استفاده در پایتون (Quick Start Guide)
برای استفاده از مدل رستم نسخه چهارم، میتوانید از کد استاندارد کتابخانه transformers استفاده کنید:
python
1import torch
2from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
34device = torch.device("cuda"if torch.cuda.is_available()else"cpu")56# 1. لود کردن توکنایزر اختصاصی و مدل ۳۶ لایهای رستم7tokenizer = PreTrainedTokenizerFast.from_pretrained("prog-love/rostam")8model = GPT2LMHeadModel.from_pretrained("prog-love/rostam").to(device)910model.eval()1112# 2. آمادهسازی پرامپت با فرمت استاندارد Instruct13prompt ="دستور: یک پند اخلاقی به من بگو\nپاسخ:"14inputs = tokenizer(prompt, return_tensors="pt").to(device)1516# 3. تولید متن توسط مدل17with torch.no_grad():18 outputs = model.generate(19 inputs.input_ids,20 attention_mask=inputs.attention_mask,21 max_new_tokens=100,22 do_sample=True,23 temperature=0.75,24 top_p=0.9,25 repetition_penalty=1.3,26 pad_token_id=tokenizer.pad_token_id,27 eos_token_id=tokenizer.eos_token_id
28)2930# 4. نمایش پاسخ31print(tokenizer.decode(outputs[0], skip_special_tokens=True))
