🌐 Looking for the English version? Just scroll down — it's right below! 👇
Lyra-Mistral7B-Irrigation-LoRA v2
Présentation générale
Ce modèle est une
amélioration directe d’un modèle précédent de conseil en irrigation :
Lyra-Mistral7B-Irrigation-LoRA (v1)
https://huggingface.co/jeromex1/Lyra-Mistral7B-irrigation-LoRAL’objectif de cette version v2 n’est pas la mise en production, mais l’exploration méthodique des possibilités et limites du Supervised Fine-Tuning (SFT) appliqué à un Small Language Model (7B) dans un cadre agronomique simple, contrôlé et interprétable.
Évolutions par rapport à la version v1
Changement d’échelle du dataset
- v1 : ~150 lignes d’entraînement
- v2 : 1000 lignes d’entraînement + 100 lignes de validation
Cette augmentation permet :
- un meilleur équilibre des classes de sortie
- la réduction des raccourcis statistiques (shortcut learning)
- des frontières décisionnelles plus stables
- une analyse plus fiable du comportement du modèle
Simplification volontaire des entrées
Par rapport à v1, le nombre de variables d’entrée a été volontairement réduit afin de ne pas surcharger un modèle 7B.
Variables utilisées dans v2 :
texture : type de sol (sableuse, limoneuse, argileuse)tension_cbar : tension de l’eau du sol mesurée au tensiomètre (centibars)ETP : évapotranspiration journalière (mm)pluie_24h_mm : pluie prévue sur les prochaines 24 heures (mm)
Les paramètres plus riches utilisés dans v1 (matière organique, stade phénologique, enracinement, structure du sol, etc.) ont été retirés afin de :
- concentrer l’apprentissage sur un noyau décisionnel réduit
- améliorer la robustesse du comportement appris
- mieux observer les capacités réelles d’un SLM face à un problème décisionnel simple
Description de la tâche
Le modèle joue le rôle d’un conseiller simple en irrigation.
À partir des données parcelle + météo sur 24 heures, il fournit :
- une recommandation d’irrigation parmi quatre classes (0 / 10 / 20 / 30 mm)
- une justification agronomique courte basée sur les variables fournies
Il s’agit d’un modèle comportemental, et non d’un modèle hydrique ou physiologique du sol ou de la plante.
Entraînement
Modèle de base
- Mistral-7B-Instruct-v0.3 (Causal Language Model)
- Entrainement dans Google Colab pro sur GPU A100 avec RAM élevée
Configuration LoRA
1LoraConfig(
2 r=64,
3 lora_alpha=16,
4 lora_dropout=0.05,
5 bias="none",
6 task_type="CAUSAL_LM",
7 target_modules=[
8 "q_proj",
9 "k_proj",
10 "v_proj",
11 "o_proj",
12 "gate_proj",
13 "up_proj",
14 "down_proj",
15 ],
16)
Hyperparamètres d’entraînement
1num_train_epochs = 3
2per_device_train_batch_size = 2
3per_device_eval_batch_size = 2
4gradient_accumulation_steps = 8
5learning_rate = 2e-4
6fp16 = True
7
8logging_steps = 10
9evaluation_strategy = "epoch"
10save_strategy = "epoch"
11
12lr_scheduler_type = "cosine"
13warmup_ratio = 0.03
14weight_decay = 0.0
15report_to = "none"
Métriques d’entraînement
1Epoch Train Loss Validation Loss Entropie Précision moyenne des tokens
21 0.1858 0.1846 0.231 0.945
32 0.1764 0.1797 0.221 0.948
43 0.1762 0.1775 0.219 0.948
Lecture des métriques :
-
pertes d’entraînement et de validation très proches → pas d’overfitting
-
entropie basse mais non nulle → modèle confiant sans effondrement de classe
-
structure de sortie stable et reproductible
Résultats en inférence (exemples)
Stress hydrique élevé, pas de pluie
- texture: sableuse
- tension_cbar: 80
- ETP: 5.2
- pluie_24h_mm: 0
→ reco_mm: 30
Pluie significative
- texture: argileuse
- tension_cbar: 47
- ETP: 5.0
- pluie_24h_mm: 26
→ reco_mm: 0
Situation intermédiaire
- texture: limoneuse
- tension_cbar: 65
- ETP: 4.5
- pluie_24h_mm: 5
→ reco_mm: 20
Cas frontière (incertitude météorologique)
- texture: argileuse
- tension_cbar: 55
- ETP: 3.5
- pluie_24h_mm: 9
→ reco_mm: 0
Ce dernier cas est volontairement accepté :
à l’horizon 24 h, une prévision de 9 mm ou 10 mm est équivalente d’un point de vue météorologique et agronomique.
Le modèle apprend une zone de tolérance réaliste, et non une discontinuité artificielle.
Portée et limites
-
ce modèle n’est pas destiné à la production
-
il ne remplace ni un agronome ni un outil de modélisation hydrique
-
il ne prétend pas fournir une décision opérationnelle réelle
-
Ses objectifs sont :
-
explorer le SFT sur un Small Language Model
-
analyser les effets de distribution des données et des seuils
-
comprendre les limites d’un modèle compact sur une tâche décisionnelle
Pour un usage réel, un modèle de raisonnement plus large (GPT-5 / Gemini-class) combiné à des données complètes serait plus adapté.
Intention du projet
-
Ce modèle s’inscrit dans une démarche personnelle d’auto-formation et de constitution de portfolio, centrée sur :
-
les Small Language Models
-
le Supervised Fine-Tuning
-
l’IA appliquée à l’agronomie sous contraintes réalistes
-
L’accent est mis sur la clarté méthodologique, l’observation des limites et l’honnêteté épistémique, plutôt que sur la performance brute.
English version
General Overview
This model is a
direct improvement of a previous irrigation advisory model:
Lyra-Mistral7B-Irrigation-LoRA (v1)
https://huggingface.co/jeromex1/Lyra-Mistral7B-irrigation-LoRAThe goal of this v2 version is not production deployment, but rather a methodical exploration of the possibilities and limits of Supervised Fine-Tuning (SFT) applied to a Small Language Model (7B) in a simple, controlled, and interpretable agronomic framework.
Evolutions Compared to Version v1
Dataset Scaling
- v1: ~150 training lines
- v2: 1000 training lines + 100 validation lines
This increase allows:
- better balance of output classes
- reduction of statistical shortcuts (shortcut learning)
- more stable decision boundaries
- more reliable analysis of model behavior
Intentional Simplification of Inputs
Compared to v1, the number of input variables has been deliberately reduced to avoid overloading a 7B model.
Variables used in v2:
texture: soil type (sandy, loamy, clayey)tension_cbar: soil water tension measured with a tensiometer (centibars)ETP: daily evapotranspiration (mm)pluie_24h_mm: rainfall forecast for the next 24 hours (mm)
The richer parameters used in v1 (organic matter, phenological stage, rooting depth, soil structure, etc.) were removed in order to:
- focus learning on a reduced decision core
- improve robustness of the learned behavior
- better observe the real capacities of an SLM when facing a simple decision problem
Task Description
The model acts as a simple irrigation advisor.
Based on plot + 24‑hour weather data, it provides:
- an irrigation recommendation among four classes (0 / 10 / 20 / 30 mm)
- a short agronomic justification based on the provided variables
It is a behavioral model, not a hydric or physiological model of soil or plant.
Training
Base Model
- Mistral-7B-Instruct-v0.3 (Causal Language Model)
- Training in Google Colab Pro on A100 GPU with high RAM
LoRA Configuration
1LoraConfig(
2 r=64,
3 lora_alpha=16,
4 lora_dropout=0.05,
5 bias="none",
6 task_type="CAUSAL_LM",
7 target_modules=[
8 "q_proj",
9 "k_proj",
10 "v_proj",
11 "o_proj",
12 "gate_proj",
13 "up_proj",
14 "down_proj",
15 ],
16)
17
Training Hyperparameters
1num_train_epochs = 3
2per_device_train_batch_size = 2
3per_device_eval_batch_size = 2
4gradient_accumulation_steps = 8
5learning_rate = 2e-4
6fp16 = True
7
8logging_steps = 10
9evaluation_strategy = "epoch"
10save_strategy = "epoch"
11
12lr_scheduler_type = "cosine"
13warmup_ratio = 0.03
14weight_decay = 0.0
15report_to = "none"
Training Metrics
1Epoch Train Loss Validation Loss Entropy Avg Token Accuracy
21 0.1858 0.1846 0.231 0.945
32 0.1764 0.1797 0.221 0.948
43 0.1762 0.1775 0.219 0.948
Metrics Interpretation:
training and validation losses are very close → no overfitting
low but non‑zero entropy → confident model without class collapse
stable and reproducible output structure
Inference Results (Examples)
High water stress, no rain
-
texture: sandy
-
tension_cbar: 80
-
ETP: 5.2
-
pluie_24h_mm: 0 → reco_mm: 30
Significant rainfall
-
texture: clayey
-
tension_cbar: 47
-
ETP: 5.0
-
pluie_24h_mm: 26 → reco_mm: 0
Intermediate situation
-
texture: loamy
-
tension_cbar: 65
-
ETP: 4.5
-
pluie_24h_mm: 5 → reco_mm: 20
Borderline case (meteorological uncertainty)
-
texture: clayey
-
tension_cbar: 55
-
ETP: 3.5
-
pluie_24h_mm: 9 → reco_mm: 0
This last case is deliberately accepted: At a 24‑hour horizon, a forecast of 9 mm or 10 mm is equivalent from both meteorological and agronomic perspectives. The model learns a realistic tolerance zone, not an artificial discontinuity.
Scope and Limitations
- this model is not intended for production
-it does not replace an agronomist or a hydric modeling tool
- it does not claim to provide an actual operational decision
Its objectives are:
-
exploring SFT on a Small Language Model
-
analyzing data distribution and threshold effects
-
understanding the limits of a compact model on a decision task
-
For real use, a larger reasoning model (GPT‑5 / Gemini‑class) combined with complete data would be more suitable.
Project Intent
This model is part of a personal self‑training and portfolio‑building approach, focused on:
-
Small Language Models
-
Supervised Fine‑Tuning
-
AI applied to agronomy under realistic constraints
-
The emphasis is on methodological clarity, observation of limits, and epistemic honesty, rather than raw performance.
