Views
No views yet
1import torch
2from transformers import AutoTokenizer
3from petals import AutoDistributedModelForCausalLM
4
5# 모델과 토크나이저 로드
6model_name = "Qwen/Qwen3-32B"
7tokenizer = AutoTokenizer.from_pretrained(model_name)
8
9model = AutoDistributedModelForCausalLM.from_pretrained(
10 model_name,
11 initial_peers=["your_peer_address_here"],
12 pre_seq_len=32,
13 tuning_mode="deep_ptune"
14)
15
16# 파인튜닝된 프롬프트 임베딩 로드
17from huggingface_hub import hf_hub_download
18
19# 모델 파일 다운로드
20model_file = hf_hub_download(
21 repo_id="kyoungbin/qwen3-32b-kkb-finetuned-koCul",
22 filename="prompts-deep_ptune.pt"
23)
24
25# 체크포인트 로드
26checkpoint = torch.load(model_file, map_location='cpu')
27model.transformer.prompt_embeddings.weight.data = checkpoint['prompt_embeddings']
28model.transformer.intermediate_prompt_embeddings.weight.data = checkpoint['intermediate_prompt_embeddings']
29
30# 텍스트 생성
31prompt = "안녕하세요, 어떻게 도와드릴까요?"
32inputs = tokenizer(prompt, return_tensors="pt")
33outputs = model.generate(**inputs, max_new_tokens=100)
34print(tokenizer.decode(outputs[0], skip_special_tokens=True))1# 특정 프롬프트 포맷 사용 (Llama 스타일)
2def format_prompt(user_message):
3 return f'<|begin_of_text|><|start_header_id|>user<|end_header_id|>{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>'
4
5prompt = format_prompt("김경빈에 대해 알려주세요.")
6inputs = tokenizer(prompt, return_tensors="pt")
7
8# 생성 파라미터 조정
9outputs = model.generate(
10 **inputs,
11 max_new_tokens=150,
12 temperature=0.7,
13 top_p=0.9,
14 do_sample=True,
15 pad_token_id=tokenizer.eos_token_id
16)
17
18response = tokenizer.decode(outputs[0], skip_special_tokens=True)
19print(response)prompts-deep_ptune.pt: 파인튜닝된 프롬프트 임베딩config.json: 모델 설정 정보README.md: 사용법 및 모델 정보{'model_name': 'Qwen/Qwen3-32B', 'pre_seq_len': 32, 'lr': 0.0003, 'epochs': 120, 'temperature': 0.4, 'max_new_tokens': 256, 'tuning_mode': 'deep_ptune', 'repo_id': 'kyoungbin/qwen3-32b-kkb-finetuned-koCul', 'repo_name': 'qwen3-32b-kkb-finetuned-koCul'}pip install torch transformers petals huggingface_hub