tiny-aya-kosher-3.3B: מודל שפה מותאם לערכי הצניעות וההלכה
Model Details
Model Description
Haredi-Aya-3B הוא מודל שפה ממוזג (Merged) המבוסס על Tiny-Aya-Global. המודל עבר כוונון עדין (Fine-tuning) .ממוקד כדי להתאים את תגובותיו לערכי הציבור החרדי, תוך דגש על סינון תכנים שאינם הולמים, מניעת עיסוק בנושאי כפירה, עבודה זרה, ושמירה על גדרי הצניעות .
- Developed by: EMD123
- Model type: Causal Language Model (Fine-tuned with QLoRA)
- Language(s) (NLP): Hebrew (Primary), English
- License: CC-BY-NC-4.0 (Non-Commercial use only)
- Finetuned from model: CohereLabs/tiny-aya-global
Uses
Direct Use
המודל נועד לשמש כעוזר בינה מלאכותית "כשר". הוא מתאים לשימוש במערכות המיועדות למשתמשים שומרי תורה ומצוות המעוניינים בכלי עבודה חכם שאינו נחשף לתכנים אסורים או שאינם הולמים את רוח הקהילה.
Out-of-Scope Use
אין להשתמש במודל לצרכים מסחריים (בהתאם לרישיון ה-NC). המודל אינו מיועד לספק פסיקה הלכתית רשמית או ייעוץ רוחני, אלא לשמש ככלי עזר טכנולוגי בלבד.
Bias, Risks, and Limitations
למרות האימון הממוקד, מודלי שפה עלולים להזות (Hallucinate) או לעקוף מגבלות בסיטואציות מסוימות. המודל הותאם לסרב לתכנים מסוימים, אך ייתכנו מקרים של סירוב-יתר (False Positive) גם לשאלות תמימות אם הן מזכירות מילים רגישות.
Recommendations
מומלץ להשתמש בטמפרטורה (Temperature) נמוכה (0.1-0.3) כדי לקבל תשובות עקביות ומדויקות יותר מבחינת ערכי הסינון.
How to Get Started with the Model
כדי להפעיל את המודל בצורה נכונה, יש להשתמש בתבנית הצ'אט הרשמית של Aya:
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_id = "[EMD123]/tiny-aya-kosher-3.3B"
4tokenizer = AutoTokenizer.from_pretrained(model_id)
5model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")
6
7messages = [{"role": "user", "content": "האם תוכל לעזור לי בכתיבת מכתב רשמי?"}]
8input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")
9
10outputs = model.generate(input_ids, max_new_tokens=256, temperature=0.2, do_sample=True)
11print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
Training Details
Training Data
המודל אומן על דאטה-סט ייעודי שנבנה ידנית וכולל כ-520 דוגמאות:
דוגמאות סינון: הנחיות לסירוב מנומס ומנומק לנושאים שאינם צנועים, כפירה, ודתות אחרות.
דוגמאות שימור: שאלות בידע כללי, קוד ושפה כדי לשמר את יכולות הליבה של המודל.
שיחות רב-סיבוביות (Multi-turn): דוגמאות המלמדות את המודל לשמור על עקביות לאורך שיחה שלמה.
Training Procedure
האימון התבצע בשיטת QLoRA (4-bit quantization) על גבי כרטיס מסך NVIDIA T4 בסביבת Google Colab.
Training regime: bf16 mixed precision
Learning Rate: 2e-4
Epochs: 2 (Early stopping applied to prevent overfitting)
Batch Size: 2 (Gradient Accumulation Steps: 4)
Technical Specifications
Model Architecture and Objective
המודל מבוסס על ארכיטקטורת Command-R של Cohere, המותאמת במיוחד לביצועים רב-לשוניים יעילים במודל קומפקטי (3B).
License & Policy
מודל זה כפוף לרישיון Creative Commons Attribution-NonCommercial 4.0 International.
בנוסף, המשתמשים מחויבים לציות למדיניות השימוש של Cohere Lab (Acceptable Use Policy).
More Information
המודל נוצר מתוך צורך חיוני בכלים טכנולוגיים מתקדמים המכבדים את עולמם הערכי של המשתמשים הדתיים והחרדים.
