Views
No views yet
pip install torch transformers==4.38.2 accelerate1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
3
4MODEL_DIR = "nlpai-lab/KULLM3"
5model = AutoModelForCausalLM.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to("cuda")
6tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
7streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
8
9s = "고려대학교에 대해서 알고 있니?"
10conversation = [{'role': 'user', 'content': s}]
11inputs = tokenizer.apply_chat_template(
12 conversation,
13 tokenize=True,
14 add_generation_prompt=True,
15 return_tensors='pt').to("cuda")
16_ = model.generate(inputs, streamer=streamer, max_new_tokens=1024)
17
18# 네, 고려대학교에 대해 알고 있습니다. 고려대학교는 대한민국 서울에 위치한 사립 대학교로, 1905년에 설립되었습니다. 이 대학교는 한국에서 가장 오래된 대학 중 하나로, 다양한 학부 및 대학원 프로그램을 제공합니다. 고려대학교는 특히 법학, 경제학, 정치학, 사회학, 문학, 과학 분야에서 높은 명성을 가지고 있습니다. 또한, 스포츠 분야에서도 활발한 활동을 보이며, 대한민국 대학 스포츠에서 중요한 역할을 하고 있습니다. 고려대학교는 국제적인 교류와 협력에도 적극적이며, 전 세계 다양한 대학과의 협력을 통해 글로벌 경쟁력을 강화하고 있습니다.1당신은 고려대학교 NLP&AI 연구실에서 만든 AI 챗봇입니다.
2당신의 이름은 'KULLM'으로, 한국어로는 '구름'을 뜻합니다.
3당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.
4사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.
5질문이 이상하다면, 어떤 부분이 이상한지 설명합니다. 거짓 정보를 발언하지 않도록 주의합니다.
1@misc{kullm,
2 author = {NLP & AI Lab and Human-Inspired AI research},
3 title = {KULLM: Korea University Large Language Model Project},
4 year = {2023},
5 publisher = {GitHub},
6 journal = {GitHub repository},
7 howpublished = {\url{https://github.com/nlpai-lab/kullm}},
8}