You can deploy this model and start earning money today!

kyoungbin/
llama3-70b-kkb-finetuned-inference

Name: llama3-70b-kkb-finetuned-inference
Availability: InStock

petals_deep_ptune

Views

No views yet

llama3-70b-kkb-finetuned-inference

이 모델은 Petals Deep P-Tuning으로 파인튜닝된 meta-llama/Meta-Llama-3.1-70B-Instruct 모델입니다.

📋 모델 정보

베이스 모델: meta-llama/Meta-Llama-3.1-70B-Instruct
파인튜닝 방법: Deep P-Tuning
Pre-sequence Length: 32
학습률: 2e-05
에포크: 10
튜닝 모드: deep_ptune
프레임워크: Petals

🚀 사용법

1. 기본 사용법

python

import torch
from transformers import AutoTokenizer
from petals import AutoDistributedModelForCausalLM

# 모델과 토크나이저 로드
model_name = "meta-llama/Meta-Llama-3.1-70B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoDistributedModelForCausalLM.from_pretrained(
    model_name,
    initial_peers=["your_peer_address_here"],
    pre_seq_len=32,
    tuning_mode="deep_ptune"
)

# 파인튜닝된 프롬프트 임베딩 로드
from huggingface_hub import hf_hub_download

# 모델 파일 다운로드
model_file = hf_hub_download(
    repo_id="kyoungbin/llama3-70b-kkb-finetuned-inference",
    filename="prompts-deep_ptune.pt"
)

# 체크포인트 로드
checkpoint = torch.load(model_file, map_location='cpu')
model.transformer.prompt_embeddings.weight.data = checkpoint['prompt_embeddings']
model.transformer.intermediate_prompt_embeddings.weight.data = checkpoint['intermediate_prompt_embeddings']

# 텍스트 생성
prompt = "안녕하세요, 어떻게 도와드릴까요?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. 고급 사용법

python

# 특정 프롬프트 포맷 사용 (Llama 스타일)
def format_prompt(user_message):
    return f'<|begin_of_text|><|start_header_id|>user<|end_header_id|>{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>'

prompt = format_prompt("김경빈에 대해 알려주세요.")
inputs = tokenizer(prompt, return_tensors="pt")

# 생성 파라미터 조정
outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

📁 파일 구조

prompts-deep_ptune.pt: 파인튜닝된 프롬프트 임베딩
config.json: 모델 설정 정보
README.md: 사용법 및 모델 정보

⚙️ 설정 정보

체크포인트 파일에 포함된 설정:

{'model_name': 'meta-llama/Meta-Llama-3.1-70B-Instruct', 'pre_seq_len': 32, 'lr': 2e-05, 'epochs': 10, 'temperature': 0.4, 'max_new_tokens': 256, 'tuning_mode': 'deep_ptune', 'repo_id': 'kyoungbin/llama3-70b-kkb-finetuned-inference', 'repo_name': 'llama3-70b-kkb-finetuned-inference'}

🔧 요구사항

Python 3.8+
PyTorch
Transformers
Petals
huggingface_hub

pip install torch transformers petals huggingface_hub

📜 라이선스

이 모델은 원본 모델 (meta-llama/Meta-Llama-3.1-70B-Instruct)의 라이선스를 따릅니다.

🙏 감사의 말

이 모델은 Petals 프레임워크를 사용하여 분산 학습되었습니다.