# =======================================================
# CONFIG TỐI ƯU CHO FULL FINE-TUNING LLAMA-3-8B TRÊN 8xA100
# Dành cho nhiệm vụ Text-to-Cypher
# =======================================================

# --- Mô hình cơ sở ---
base_model: Qwen/Qwen3-8B
model_type: Qwen3ForCausalLM
tokenizer_type: Qwen2Tokenizer

# --- Dữ liệu ---
# Đường dẫn đến tệp JSONL đã được xử lý bởi script Python
datasets:
  - path: finetuning_dataset.jsonl
    type: alpaca # Sử dụng định dạng alpaca, rất phù hợp với instruction/input/output
val_set_size: 0.05 # Dành 5% dữ liệu để đánh giá trong quá trình huấn luyện
dataset_prepared_path: prepared_data # Nơi lưu cache dữ liệu đã xử lý

# --- Cấu hình Huấn luyện ---
sequence_len: 4096      # Tối đa hóa ngữ cảnh để chứa được schema dài
sample_packing: true    # "Nhồi" các mẫu ngắn lại để tăng hiệu quả sử dụng GPU
pad_to_sequence_len: true # Đảm bảo mọi chuỗi đầu vào đều dài bằng nhau

# --- Kỹ thuật Fine-tuning (Full fine-tuning) ---
# Để trống hoặc xóa phần 'adapter' để thực hiện Full Fine-tuning
adapter:

# --- Tối ưu Hiệu suất & Phân tán ---
gradient_accumulation_steps: 2
micro_batch_size: 4 # Batch size trên mỗi GPU (A100 có thể xử lý tốt)
# Global batch size = 8 GPUs * 4 (micro) * 2 (accum) = 64. Một con số tốt cho sự ổn định.
num_epochs: 3       # Số lần lặp qua toàn bộ dữ liệu, 3 là một điểm khởi đầu tốt.

# --- Optimizer và Learning Rate ---
optimizer: adamw_torch_fused # Optimizer hiệu quả cao
learning_rate: 2.0e-5        # Learning rate tiêu chuẩn cho full fine-tuning
lr_scheduler: "cosine"       # Giúp mô hình hội tụ tốt hơn
warmup_steps: 100            # Số bước "khởi động" cho learning rate

# --- Tối ưu Phần cứng cho A100 ---
torch_compile: true          # Biên dịch mô hình bằng PyTorch 2.0+ để tăng tốc độ
bf16: true                   # Sử dụng định dạng BFloat16, tối ưu cho kiến trúc Ampere (A100)
flash_attention: true        # Bắt buộc phải có để tăng tốc độ tính toán attention

# --- Cấu hình Phân tán FSDP ---
gradient_checkpointing: true # Tiết kiệm VRAM bằng cách không lưu toàn bộ intermediate activations
deepspeed: # Để trống, vì chúng ta dùng FSDP
fsdp:
  - "full_shard"
  - "auto_wrap"
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_transformer_layer_cls_to_wrap: Qwen3DecoderLayer # Lớp cụ thể cho mô hình Llama
  fsdp_sharding_strategy: FULL_SHARD # Phân mảnh toàn bộ mô hình, optimizer và gradients
  fsdp_offload_params: false # Giữ tham số trên VRAM của GPU vì bạn có đủ
  fsdp_state_dict_type: FULL_STATE_DICT # Lưu checkpoint đầy đủ để dễ dàng resume

# --- Lưu trữ và Logging ---
output_dir: ./outputs/qwen3-8b-cypher-expert-v1 # Đặt tên cho mô hình của bạn
save_strategy: "steps"
save_steps: 200 # Lưu checkpoint sau mỗi 200 bước huấn luyện
logging_steps: 10 # Ghi log sau mỗi 10 bước

outputs/qwen3-8b-cypher-expert-v1

This model is a fine-tuned version of Qwen/Qwen3-8B on the finetuning_dataset.jsonl dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
distributed_type: multi-GPU
num_devices: 8
gradient_accumulation_steps: 2
total_train_batch_size: 64
total_eval_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 100
training_steps: 3

Training results

Framework versions

Transformers 4.57.1
Pytorch 2.7.1+cu126
Datasets 4.0.0
Tokenizers 0.22.1

ethan107/qwen3-8b-cypher-expert

outputs/qwen3-8b-cypher-expert-v1

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

ethan107/
qwen3-8b-cypher-expert