1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3repo = "ifuseok/sft-solar-10.7b-v1.1"
4OpenOrca = AutoModelForCausalLM.from_pretrained(
5 repo,
6 return_dict=True,
7 torch_dtype=torch.float16,
8 device_map='auto'
9)
10OpenOrca_tokenizer = AutoTokenizer.from_pretrained(repo)### System:
시스템 메시지 입니다.
### User:
유저 입니다.
### Assistant
어시스턴트 입니다.