You can deploy this model and start earning money today!

trandangduc0/
hdmt-rag-local

Name: hdmt-rag-local
Availability: InStock

ml-intern

Views

No views yet

FPGA Pinout Fine-Tuning Kit - Spartan-6

Bộ công cụ để fine-tune LLM trên dữ liệu pinout Xilinx Spartan-6 FPGA.

📦 Files

File	Kích thước	Mục đích	Chạy mấy lần
`build_fpga_db.py`	4KB	Parse JSON spec -> `pin_database.json`	1 lần
`fpga_chatbot.py`	20KB	Chatbot tra cứu (chạy ngay, không cần train)	Luôn dùng
`build_training_data.py`	10KB	Generate `fpga_training_data.jsonl` (5,556 samples)	1 lần
`train_fpga_lora.py`	8KB	Fine-tune Qwen2.5-7B với LoRA	1 lần (train)
`fpga_chatbot_finetuned.py`	9KB	Chatbot dùng model đã fine-tune	Sau khi train

🚀 Quick Start (Không cần train)

bash

# 1. Build database từ JSON spec
python build_fpga_db.py
# Output: pin_database.json (~1.3MB, ~7,000 pins)

# 2. Chạy chatbot ngay
python fpga_chatbot.py --test
python fpga_chatbot.py --gradio  # UI web

🧠 Fine-Tune LLM (Cần GPU)

Yêu cầu phần cứng

GPU	VRAM	Thời gian train	Mode
1x RTX 5090	24GB	~2-3 tiếng	bf16 LoRA
2x RTX 5090	48GB	~1.5-2 tiếng	bf16 LoRA multi-GPU
1x RTX 4090	24GB	~3-4 tiếng	4-bit QLoRA

Bước 1: Chuẩn bị data

bash

# Đã có sẵn fpga_training_data.jsonl (5,556 samples)
# Hoặc tạo lại:
python build_training_data.py

Bước 2: Cài thư viện

bash

pip install transformers datasets peft trl accelerate
# Optional cho 4-bit:
pip install bitsandbytes

Bước 3: Train

bash

# 1x RTX 5090 (bf16, đủ VRAM)
python train_fpga_lora.py --gpu 1

# 2x RTX 5090 (nhanh hơn)
python train_fpga_lora.py --gpu 2

# Nếu VRAM không đủ, dùng 4-bit QLoRA
python train_fpga_lora.py --gpu 1 --4bit

# Train và push lên HuggingFace
python train_fpga_lora.py --gpu 1 --push-to-hub --hub-id your-username/fpga-lora

Tham số training

Tham số	Giá trị	Giải thích
LoRA rank	256	Cao để nhớ facts
Target modules	all-linear	Tất cả linear layers
Learning rate	2e-4	10x cao hơn full FT
Epochs	3	Đủ cho factual data
Batch size	1 x 8 grad accum	Effective batch = 8
Max seq length	2048	Đủ cho Q&A ngắn

Bước 4: Sử dụng model đã train

bash

# Chatbot dùng model fine-tuned
python fpga_chatbot_finetuned.py --gradio

# Hoặc CLI
python fpga_chatbot_finetuned.py
> XC6SLX150T-2FGG484C pin D5

📊 Training Data (5,556 samples)

Format: Conversational (messages)

json

{
  "messages": [
    {"role": "user", "content": "What is pin D5 on XC6SLX150T-2FGG484C?"},
    {"role": "assistant", "content": "Pin D5 on XC6SLX150T-2FGG484C is **IO_L2N_0** (Bank 0)."}
  ]
}

Các loại câu hỏi trong dataset

Loại	Số lượng	Ví dụ
Pin lookup	~2,000	"Pin A3 trên XC6SLX9 là gì?"
Device info	~300	"LX150T hỗ trợ packages nào?"
Package list	~500	"CS(G)484 có bao nhiêu pin?"
Function search	~1,000	"GCLK pins trên LX150T?"
Part number parse	~200	"XC6SLX150T-2FGG484C là gì?"
Differential pairs	~200	"Differential pair IO_L1 trên LX45?"
Bank summary	~800	"Bank 0 có bao nhiêu pin?"
Tiếng Việt	~1,500	Các câu hỏi trên bằng tiếng Việt

🔍 So sánh: RAG vs Fine-tuned

Capability	RAG (fpga_chatbot.py)	Fine-tuned (train_fpga_lora.py)
Tra cứu pin	⚡ Nhanh, chính xác 100%	⚡ Nhanh, chính xác ~95-98%
Trả lời ngôn ngữ tự nhiên	❌ Chỉ keyword matching	✅ Hiểu "pin A1 là gì"
Suy luận	❌ Không	✅ "A1 và A2 là cặp differential?"
Tốc độ	~50ms	~1-2 giây (LLM generate)
Cần GPU	❌ CPU đủ	✅ Cần GPU inference
Cần train	❌ Không	✅ 2-3 tiếng
Update data mới	Dễ (edit JSON)	Khó (phải retrain)

🎯 Khuyến nghị

Use case	Giải pháp
Chỉ cần tra cứu nhanh, chính xác tuyệt đối	Dùng RAG (`fpga_chatbot.py`)
Muốn AI hiểu ngôn ngữ tự nhiên, trả lời như người	Fine-tune (`train_fpga_lora.py`)
Production, không lỗi được	Hybrid: Fine-tuned model + RAG fallback

🔧 Troubleshooting

OOM khi train

bash

# Giảm batch size hoặc dùng 4-bit
python train_fpga_lora.py --gpu 1 --4bit

Model không trả lời đúng sau train

Tăng epochs lên 5
Tăng LoRA rank lên 512
Kiểm tra dataset có đúng format không

Chạy chậm

bash

# Dùng vLLM cho inference nhanh
pip install vllm
python -m vllm.entrypoints.openai.api_server \
    --model ./fpga-lora-model \
    --gpu-memory-utilization 0.9

📁 Repo

https://huggingface.co/trandangduc0/hdmt-rag-local

Generated by ML Intern

This model repository was generated by ML Intern, an agent for machine learning research and development on the Hugging Face Hub.

Try ML Intern: https://smolagents-ml-intern.hf.space
Source code: https://github.com/huggingface/ml-intern

Usage

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'trandangduc0/hdmt-rag-local'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

For non-causal architectures, replace AutoModelForCausalLM with the appropriate AutoModel class.