	Trước FT	Sau FT
test exact match (full)	—	{'exact_match_count': 0, 'total': 5, 'exact_match_rate': 0.0}
test mean NLL completion	—	{'mean_nll_completion': 0.8662011861801148, 'n_examples': 5, 'split_size': 5}

Độ trễ greedy (`fol_inference_latency.json`)

split: test — n: 5
trung bình: 17.747 s / mẫu (σ ≈ 5.331 s)

Artifacts

Trong experiment_artifacts/:

experiment_log.json — siêu tham số (gần configs/fol_model.yaml), fol_eval_* sau eval greedy, fol_inference_latency_benchmark nếu bật benchmark.
train_metrics.json — metrics cuối từ Trainer.
fol_eval_metrics.json — exact match FOL (nếu có).
fol_inference_latency.json — trung bình thời gian greedy một mẫu (sau FT, nếu có).
fol_hub_reload_eval.json — sau push: tải merged từ Hub, greedy trên N mẫu test ngẫu nhiên + exact-match trên đúng N mẫu (CLI).

Biến môi trường: prefix FOL_* (xem FolSFTConfig trong services/config_fol.py).

Xác minh sau khi tải merged từ Hub

Tải lại merged từ Laplaces-Red-Devils/fol-v01-origin-qwen2.5-3 rồi chỉ greedy trên N mẫu test ngẫu nhiên; bảng dưới là exact-match trên đúng N mẫu đó. JSON đủ: experiment_artifacts/fol_hub_reload_eval.json.

Exact match (N mẫu test ngẫu nhiên)

Split	Accuracy	Đúng / Tổng
test	0	0 / 5

Xem trước mẫu test ngẫu nhiên (README: 2 / 5 — terminal + JSON có đủ)

Mẫu 1 (split_index=0)

gold (rút gọn): {"premises_fol": ["∀c ((well_structured(c) ∧ has_exercises(c)) → enhances_engagement(c))", "∀c ((enhances_engagement(c) ∧ advanced_resources(c)) → enhances_critical_thinking(c))", "∀f ((pedagogical_training(f) ∧ curriculum_development(f)) → …
pred (rút gọn): {"premises_fol": [ "∀c (WellStructuredAndHasExercises(c) → EnhancesStudentEngagement(c))", "∀c (∀(EnhancesStudentEngagement(c) ∧ ProvidesAccessToAdvancedResources(c)) → EnhancesCriticalThinking(c))", "∀f (PrioritizesPedagogicalTrainin …

Mẫu 2 (split_index=1)

gold (rút gọn): {"premises_fol": ["∀c ((well_structured(c) ∧ has_exercises(c)) → enhances_engagement(c))", "∀c ((enhances_engagement(c) ∧ advanced_resources(c)) → enhances_critical_thinking(c))", "∀f ((pedagogical_training(f) ∧ curriculum_development(f)) → …
pred (rút gọn): {"premises_fol": [ "∀c (WellStructuredAndHasExercises(c) → EnhancesStudentEngagement(c))", "∀c (∀(EnhancesStudentEngagement(c) ∧ ProvidesAccessToAdvancedResources(c)) → EnhancesCriticalThinking(c))", "∀f (PrioritizesPedagogicalTrainin …

Laplaces-Red-Devils/fol-v01-origin-qwen2.5-3

fol-v01-origin-qwen2.5-3

Tóm tắt kết quả (tự động)

Trainer (train_metrics.json)

FOL greedy exact match (fol_eval_metrics.json)

Siêu tham số (từ experiment_log.json)

Benchmark test (trước / sau FT)

Độ trễ greedy (fol_inference_latency.json)

Artifacts

Xác minh sau khi tải merged từ Hub

Exact match (N mẫu test ngẫu nhiên)

Xem trước mẫu test ngẫu nhiên (README: 2 / 5 — terminal + JSON có đủ)

Laplaces-Red-Devils/
fol-v01-origin-qwen2.5-3

Trainer (`train_metrics.json`)

FOL greedy exact match (`fol_eval_metrics.json`)

Siêu tham số (từ `experiment_log.json`)

Độ trễ greedy (`fol_inference_latency.json`)