	Trước FT	Sau FT
test exact match (full)	—	{'exact_match_count': 0, 'total': 80, 'exact_match_rate': 0.0}
test mean NLL completion	—	{'mean_nll_completion': 0.20448867972008883, 'n_examples': 80, 'split_size': 80}

Độ trễ greedy (`fol_inference_latency.json`)

split: test — n: 30
trung bình: 62.579 s / mẫu (σ ≈ 33.49 s)

Artifacts

Trong experiment_artifacts/:

experiment_log.json — siêu tham số (gần configs/fol_model.yaml), fol_eval_* sau eval greedy, fol_inference_latency_benchmark nếu bật benchmark.
train_metrics.json — metrics cuối từ Trainer.
fol_eval_metrics.json — exact match FOL (nếu có).
fol_inference_latency.json — trung bình thời gian greedy một mẫu (sau FT, nếu có).
fol_hub_reload_eval.json — sau push: tải merged từ Hub, greedy trên N mẫu test ngẫu nhiên + exact-match trên đúng N mẫu (CLI).

Biến môi trường: prefix FOL_* (xem FolSFTConfig trong services/config_fol.py).

Xác minh sau khi tải merged từ Hub

Tải lại merged từ Laplaces-Red-Devils/fol-v02-origin-qwen2.5-3 rồi chỉ greedy trên N mẫu test ngẫu nhiên; bảng dưới là exact-match trên đúng N mẫu đó. JSON đủ: experiment_artifacts/fol_hub_reload_eval.json.

Exact match (N mẫu test ngẫu nhiên)

Split	Accuracy	Đúng / Tổng
test	0	0 / 20

Xem trước mẫu test ngẫu nhiên (README: 2 / 20 — terminal + JSON có đủ)

Mẫu 1 (split_index=14)

gold (rút gọn): {"premises_fol": ["∀x(HasGPA(x))", "∀x(¬AttendsLectures(x) → ¬ImprovesGPA(x))", "∀x(SubmitsAssignments(x) → ImprovesGPA(x))", "∃x(HonorRoll(x))", "∀x(HighGPA(x) → EligibleForScholarship(x))", "∀x(HighGPA(x) → HonorRoll(x))", "∀x((HighGPA(x) …
pred (rút gọn): {"premises_fol": ["∀x (HasGPA(x))", "∀x (¬AttendsLectures(x) → ¬ImprovesGPA(x))", "∀x (SubmitsAssignmentsOnTime(x) → ImprovesGPA(x))", "∃x (OnHonorRoll(x))", "∀x (HighGPA(x) → EligibleForScholarship(x))", "∀x (HighGPA(x) → OnHonorRoll(x))", …

Mẫu 2 (split_index=3)

gold (rút gọn): {"premises_fol": ["∀x (∀h ((clinical_hours(x, h) ∧ h ≥ 500) → advanced_practice(x)))", "clinical_hours(john, 600)", "registered_nurse(john)", "∀x ((registered_nurse(x) ∧ advanced_practice(x)) → can_prescribe(x))"]} …
pred (rút gọn): {"premises_fol": ["∀x (completed_500_hours(x) → advanced_practice_certification(x))", "completed_500_hours(John)", "registered_nurse(John)", "∀x (advanced_practice_certification(x) → authorized_prescribe_medication(x))"]} …

Laplaces-Red-Devils/fol-v02-origin-qwen2.5-3

fol-v02-origin-qwen2.5-3

Tóm tắt kết quả (tự động)

Trainer (train_metrics.json)

FOL greedy exact match (fol_eval_metrics.json)

Siêu tham số (từ experiment_log.json)

Benchmark test (trước / sau FT)

Độ trễ greedy (fol_inference_latency.json)

Artifacts

Xác minh sau khi tải merged từ Hub

Exact match (N mẫu test ngẫu nhiên)

Xem trước mẫu test ngẫu nhiên (README: 2 / 20 — terminal + JSON có đủ)

Laplaces-Red-Devils/
fol-v02-origin-qwen2.5-3

Trainer (`train_metrics.json`)

FOL greedy exact match (`fol_eval_metrics.json`)

Siêu tham số (từ `experiment_log.json`)

Độ trễ greedy (`fol_inference_latency.json`)