You can deploy this model and start earning money today!

RichardErkhov/
maywell_-_TinyWand-SFT-gguf

Name: maywell_-_TinyWand-SFT-gguf
Availability: InStock

endpoints_compatible

gguf

template

Views

No views yet

Quantization made by Richard Erkhov.

Github

Discord

Request more models

TinyWand-SFT - GGUF

Model creator: https://huggingface.co/maywell/
Original model: https://huggingface.co/maywell/TinyWand-SFT/

Name	Quant method	Size
TinyWand-SFT.Q2_K.gguf	Q2_K	0.58GB
TinyWand-SFT.IQ3_XS.gguf	IQ3_XS	0.65GB
TinyWand-SFT.IQ3_S.gguf	IQ3_S	0.68GB
TinyWand-SFT.Q3_K_S.gguf	Q3_K_S	0.68GB
TinyWand-SFT.IQ3_M.gguf	IQ3_M	0.7GB
TinyWand-SFT.Q3_K.gguf	Q3_K	0.75GB
TinyWand-SFT.Q3_K_M.gguf	Q3_K_M	0.75GB
TinyWand-SFT.Q3_K_L.gguf	Q3_K_L	0.81GB
TinyWand-SFT.IQ4_XS.gguf	IQ4_XS	0.83GB
TinyWand-SFT.Q4_0.gguf	Q4_0	0.87GB
TinyWand-SFT.IQ4_NL.gguf	IQ4_NL	0.88GB
TinyWand-SFT.Q4_K_S.gguf	Q4_K_S	0.88GB
TinyWand-SFT.Q4_K.gguf	Q4_K	0.92GB
TinyWand-SFT.Q4_K_M.gguf	Q4_K_M	0.92GB
TinyWand-SFT.Q4_1.gguf	Q4_1	0.96GB
TinyWand-SFT.Q5_0.gguf	Q5_0	1.05GB
TinyWand-SFT.Q5_K_S.gguf	Q5_K_S	1.05GB
TinyWand-SFT.Q5_K.gguf	Q5_K	1.08GB
TinyWand-SFT.Q5_K_M.gguf	Q5_K_M	1.08GB
TinyWand-SFT.Q5_1.gguf	Q5_1	1.14GB
TinyWand-SFT.Q6_K.gguf	Q6_K	1.25GB
TinyWand-SFT.Q8_0.gguf	Q8_0	1.61GB

Original model description:

license: apache-2.0

TinyWand-SFT

한국어 모델 설명

1.63B, 하찮은 크기의 SLM은 어떨까요?

모델 소개

TinyWand-SFT는 1.63B의 SLM 모델입니다. 이 모델은 1.63B라는 작은 크기를 가짐으로써 소형기기에서 구동되거나 큰 toks/s를 가질 수 있음과 동시에 강력한 성능을 보여줍니다.

모델 라이센스

apache-2.0

모델 성능

TBD

한계

작은 크기로 인하여 Insturct 파인튜닝 후 해당 템플릿이 아닐경우 제대로 응답하지 않는 모습을 보임. 특정 task에 사용한다면 프롬프팅보다는 파인튜닝을 권장함.

같은 이유로 일반적인 벤치마크에서도 상당히 낮은 점수를 보임.

학습 과정

TBD

사용 안내

추론에 필요한 VRAM

양자화	입력 토큰 수	출력 토큰 수	메모리 사용량
bf16(base)	64	256	3,888 MiB
q4_K_M	64	256	1,788 MiB

프롬프트 템플릿

본 모델은 Alpaca 프롬프트 템플릿을 사용합니다.

해당 템플릿은 apply_chat_template()를 통해 허깅페이스 템플릿에서 확인 하실 수 있습니다.

아래 파이썬 코드를 사용하여 모델을 로드 및 사용 할 수 있습니다. transformers, torch가 사전 설치되어야함

python

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # nvidia 그래픽카드 기준

tokenizer = AutoTokenizer.from_pretrained("maywell/TinyWand-SFT")
model = AutoModelForCausalLM.from_pretrained(
    "maywell/TinyWand-SFT",
    device_map="auto",
    torch_dtype=torch.bfloat16, # 사용하는 장비가 bfloat16을 지원하지 않는 경우 torch.float16으로 바꿔주세요.
)

messages = [
    {"role": "system", "content": "Below is an instruction that describes a task. Write a response that appropriately completes the request."}, # 비울 경우에도 동일하게 적용 됨.
    {"role": "user", "content": "언어모델의 파라미터 수가 작으면 어떤 이점이 있어?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

RichardErkhov/maywell_-_TinyWand-SFT-gguf