fol-v04-cot-augmented-fol-pretrain-malls-qwen2.5-3

Tóm tắt kết quả (tự động)

Siêu tham số (từ experiment_log.json)

• model: Laplaces-Red-Devils/fol-pretrain-malls-qwen2.5-3
• max_seq_length: 2048
• num_train_epochs: 15
• load_in_8bit: True
• use_unsloth: True
• unsloth_load_in_4bit: False
• gradient_accumulation_steps: 4

Benchmark test (trước / sau FT)

Độ trễ greedy (fol_inference_latency.json)

• split: test — n: 30
• trung bình: 23.385 s / mẫu (σ ≈ 15.147 s)

Artifacts

• experiment_log.json — siêu tham số (gần configs/fol_model.yaml), fol_eval_* sau eval greedy, fol_inference_latency_benchmark nếu bật benchmark.
• train_metrics.json — metrics cuối từ Trainer.
• fol_eval_metrics.json — exact match FOL (nếu có).
• fol_inference_latency.json — trung bình thời gian greedy một mẫu (sau FT, nếu có).
• fol_hub_reload_eval.json — sau push: tải merged từ Hub, greedy trên N mẫu test ngẫu nhiên + exact-match trên đúng N mẫu (CLI).

Xác minh sau khi tải merged từ Hub

Exact match (N mẫu test ngẫu nhiên)

Xem trước mẫu test ngẫu nhiên (README: 2 / 20 — terminal + JSON có đủ)

• gold (rút gọn): {"premises_fol": ["∀x (AtBK(x) → ∃d (SocialWorkDays(x, d) ∧ d ≥ 15))", "∀x (AtBK(x) ∧ ¬∃d (SocialWorkDays(x, d) ∧ d ≥ 15) → ¬Graduate(x))", "∀x (AtBK(x) ∧ ¬Graduate(x) ∧ TimeSpent(x) ≥ 6 → OutOfSchool(x))", "∀x (OutOfSchool(x) → StudyMore(x …
• pred (rút gọn): {"premises_fol": ["∀x (S(x) → G(x))", "∀x (¬G(x) → ¬S(x))", "∀x (¬G(x) → O(x))", "∀x (O(x) → A(x))", "S(John)"]} …

• gold (rút gọn): {"premises_fol": ["∀x (ResearchBackground(x) → StrongQualifications(x))", "∀x (StrongQualifications(x) → SeniorRoleSuitability(x))", "∀x (DevelopmentProgram(x))", "∀x (ResearchBackground(x))", "∀x (PromotionEligible(x) → Bonus(x))", "∀x (Pr …
• pred (rút gọn): {"premises_fol": ["∀x (HasResearchBackground(x) → StrongQualifications(x))", "∀x (StrongQualifications(x) → SuitableForSeniorRole(x))", "∀x (EnrolledInProgram(x))", "∀x (HasResearchBackground(x))", "∀x (EligibleForPromotion(x) → ReceivesBon …