Views
No views yet
1저희 Bllossom팀 에서 한국어-영어 이중 언어모델인 Bllossom을 공개했습니다!
2서울과기대 슈퍼컴퓨팅 센터의 지원으로 100GB가넘는 한국어로 모델전체를 풀튜닝한 한국어 강화 이중언어 모델입니다!
3한국어 잘하는 모델 찾고 있지 않으셨나요?
4 - 한국어 최초! 무려 3만개가 넘는 한국어 어휘확장
5 - Llama3대비 대략 25% 더 긴 길이의 한국어 Context 처리가능
6 - 한국어-영어 Pararell Corpus를 활용한 한국어-영어 지식연결 (사전학습)
7 - 한국어 문화, 언어를 고려해 언어학자가 제작한 데이터를 활용한 미세조정
8 - 강화학습
9이 모든게 한꺼번에 적용되고 상업적 이용이 가능한 Bllossom을 이용해 여러분 만의 모델을 만들어보세욥!
10본 모델은 42GB 이상 GPU 혹은 42GB 이상의 메모리가 있는 CPU에서 구동 가능한 양자화 모델입니다!
11
121. Bllossom-8B는 서울과기대, 테디썸, 연세대 언어자원 연구실의 언어학자와 협업해 만든 실용주의기반 언어모델입니다! 앞으로 지속적인 업데이트를 통해 관리하겠습니다 많이 활용해주세요 🙂
132. 초 강력한 Advanced-Bllossom 8B, 70B모델, 시각-언어모델을 보유하고 있습니다! (궁금하신분은 개별 연락주세요!!)
143. Bllossom은 NAACL2024, LREC-COLING2024 (구두) 발표로 채택되었습니다.
154. 좋은 언어모델 계속 업데이트 하겠습니다!! 한국어 강화를위해 공동 연구하실분(특히논문) 언제든 환영합니다!!
16 특히 소량의 GPU라도 대여 가능한팀은 언제든 연락주세요! 만들고 싶은거 도와드려요.Bllossom/llama-3-Korean-Bllossom-70B using llama.cpp via the ggml.ai's GGUF-my-repo space.
Refer to the original model card for more details on the model.
1!CMAKE_ARGS="-DLLAMA_CUDA=on" pip install llama-cpp-python
2!huggingface-cli download Bllossom/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M --local-dir='YOUR-LOCAL-FOLDER-PATH'
3
4from llama_cpp import Llama
5from transformers import AutoTokenizer
6
7model_id = 'Bllossom/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M'
8tokenizer = AutoTokenizer.from_pretrained(model_id)
9model = Llama(
10 model_path='YOUR-LOCAL-FOLDER-PATH/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M.gguf',
11 n_ctx=512,
12 n_gpu_layers=-1 # Number of model layers to offload to GPU
13)
14
15PROMPT = \
16'''당신은 유용한 AI 어시스턴트입니다. 사용자의 질의에 대해 친절하고 정확하게 답변해야 합니다.
17You are a helpful AI assistant, you'll need to answer users' queries in a friendly and accurate manner.'''
18
19instruction = 'Your Instruction'
20
21messages = [
22 {"role": "system", "content": f"{PROMPT}"},
23 {"role": "user", "content": f"{instruction}"}
24 ]
25
26prompt = tokenizer.apply_chat_template(
27 messages,
28 tokenize = False,
29 add_generation_prompt=True
30)
31
32generation_kwargs = {
33 "max_tokens":512,
34 "stop":["<|eot_id|>"],
35 "echo":True, # Echo the prompt in the output
36 "top_p":0.9,
37 "temperature":0.6,
38}
39
40resonse_msg = model(prompt, **generation_kwargs)
41print(resonse_msg['choices'][0]['text'][len(prompt):])1@misc{bllossom,
2 author = {ChangSu Choi, Yongbin Jeong, Seoyoon Park, InHo Won, HyeonSeok Lim, SangMin Kim, Yejee Kang, Chanhyuk Yoon, Jaewan Park, Yiseul Lee, HyeJin Lee, Younggyun Hahm, Hansaem Kim, KyungTae Lim},
3 title = {Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean},
4 year = {2024},
5 journal = {LREC-COLING 2024},
6 paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
7 },
8}1@misc{bllossom-V,
2 author = {Dongjae Shin, Hyunseok Lim, Inho Won, Changsu Choi, Minjun Kim, Seungwoo Song, Hangyeol Yoo, Sangmin Kim, Kyungtae Lim},
3 title = {X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment},
4 year = {2024},
5 publisher = {GitHub},
6 journal = {NAACL 2024 findings},
7 paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
8 },
9}ktlim@seoultech.ac.krhahmyg@teddysum.aikhss@yonsei.ac.kr