We have released our model at https://huggingface.co/unidocs/llama-3.1-8b-komedic-instruct. The model was a fine-tuned version of the Llama-3.1-8B-Instruct model from Unidocs Inc., using Healthcare data. Now, we generated the artifact of that model for Furiosa-AI Renegade(NPU))

유니닥스(주)에서 Llama-3.1-8B-Instruct 모델을 Healthcare 데이터로 미세조정한 모델을 https://huggingface.co/unidocs/llama-3.1-8b-komedic-instruct에 공개하였습니다. 이번에는 퓨리오사 AI의 레너게이드(NPU)를 위한 아티팩트를 공개합니다.

Model Description

sLLM model(for NPU) used in Unidoc's ezMyAIDoctor, released on October 26, 2025 as a result of the support by the High-Performance Computing Support Project of National IT Industry Promotion Agency (NIPA), funded by the Government of the Republic of Korea (Ministry of Science and ICT)
meta-llama/Llama-3.1-8B-Instruct wiki, kowiki, super-large AI healthcare question-answer data, A model that has been pretrained (Full Finetuning) by referring to the super-large AI corpus with improved Korean performance, and the medical and legal professional book corpus. We used Furiosa-AI's Renegade as a NPU.

유니닥스(주)의 ezMyAIDoctor에서 사용되는 sLLM 모델(NPU 버전)은 정부(과학기술정보통신부)의 재원으로 정보통신산업진흥원(NIPA)의 고성능컴퓨팅 지원사업(NPU)의 지원을 받아 수행된 결과로 2025년 10월 26일 공개합니다.
meta-llama/Llama-3.1-8B-Instruct에 wiki, kowiki, AIHub(aihub.or.kr)의 (초거대AI 헬스케어 질의응답데이터, 한국어 성능이 개선된 초거대 AI 말뭉치, 의료/법률 전문서적 말뭉치)를 참고하여 Pretrain(Full Finetuning)된 모델을, Furiosa-AI 의 Renegade(NPU)에서 수행될 수 있도록 아티팩트(모델의 NPU 전용 바이너리파일)을 생성하였습니다.

Intended Uses & Limitations

The model is designed to assist with healthcare-related queries and tasks.
However, it should not be used as a substitute for professional medical advice, diagnosis, or treatment.
Always consult with a qualified healthcare provider for medical concerns.

이 모델은 Healthcare 관련 질의 및 작업을 지원하도록 설계되었습니다.
그러나 전문적인 의학적 조언, 진단 또는 치료를 대체하는 데 사용되어서는 아니 됩니다. 의료 관련 문제는 항상 자격을 갖춘 의료 서비스 제공자와 상의하십시오.

Training Data

The model was fine-tuned on a proprietary healthcare dataset.
Due to privacy concerns, details of the dataset cannot be disclosed.

wiki, kowiki 데이터 이외 과학기술정보통신부, 한국지능정보사회진흥원에서 관리하고 있는 AIHub의

초거대AI 헬스케어 질의응답데이터
한국어 성능이 개선된 초거대 AI 말뭉치
의료, 법률 전문서적 말뭉치
등을 활용하였습니다.

Training Procedure

Full fine-tuning was performed on the base LLaMA 3.1 8B Instruct model using the healthcare dataset.
Healthcare 데이터 세트를 사용하여 기본 LLaMA 3.1 8B Instruct 모델에서 전체 미세 조정을 수행하였습니다.

Evaluation Results

After performing 8-bit quantization to fit the NPU, artifacts were generated. Consequently, performance degradation occurred, and the specific MMLU measurement results are as follows. Because of the overall performance degradation, we recommend using the model in conjunction with RAG rather than using it alone.

우리는 NPU에 적합하도록 8bit 양자화를 수행한 후, 아티팩트를 생성하였습니다. 따라서 성능저하가 발생하였으며 구체적인 MMLU 측정결과는 다음과 같습니니다. 전반적인 성능 저하가 발생하였기 때문에 모델을 단독으로 사용하기 보다는 RAG와 연동하여 사용하기를 권장합니다.

Accuracy by category of mmlu benchmark

category	Accuracy
anatomy	0.44 (60/135)
clinical_knowledge	0.55 (145/265)
college_medicine	0.43 (75/143)
medical_genetics	0.57 (57/100)
professional_medicine	0.46 (125/272)

All Accuracy Mean value: 0.5

성능수치에 대해서는 추가 검증 진행중...

Use with transformers

This model should be run on Furiosa-AI Renegade. Make sure to install furiosa-llm 2025.3.1. You can install it by using pip install furiosa-llm==2025.3.1. You might need to install some tools like this;

sudo apt install -y furiosa-compiler
pip install --upgrade pip setuptools wheel
pip install --upgrade furiosa-llm==2025.3.1
pip install zstandard

This is a simple example.

python

from furiosa_llm import LLM, SamplingParams

llm = LLM.load_artifact("unidocs/llama-3.1-8b-komedic-inst-furiosa-rngd")

sampling_params = SamplingParams(min_tokens=10,
        max_tokens=100,
        top_p=0.3, top_k=100,
        repetition_penalty = 1.2)

message = [{"role": "user", "content": "머리가 아프면 어떻게 해야 해?"}]
prompt = llm.tokenizer.apply_chat_template(message, tokenize=False)

response = llm.generate([prompt], sampling_params)
print(response[0].outputs[0].text)

Note: You can also find detailed recipes on how to use the model locally, with torch.compile(), assisted generations, quantised and more at huggingface-llama-recipes

Limitations and Bias

This model may produce biased or inaccurate results. It should not be solely relied upon for critical healthcare decisions.
The model's knowledge is limited to its training data and cut-off date.
It may exhibit biases present in the training data.
The model may occasionally produce incorrect or inconsistent information.
모델의 지식은 훈련 데이터와 마감일로 제한됩니다.
훈련 데이터에 편향이 있을 수 있습니다.
모델은 가끔 잘못되거나 일관되지 않은 정보를 생성할 수 있습니다.
이 모델은 편향되거나 부정확한 결과를 생성할 수 있습니다. 중요한 의료 결정에 이 모델에만 의존해서는 안 됩니다.

Legal Disclaimer

The model developers and distributors bear no legal responsibility for any consequences arising from the use of this model.
This includes any direct, indirect, incidental, special, punitive, or consequential damages resulting from the model's output.
By using this model, users assume all risks that may arise, and the responsibility for verifying and appropriately using the model's output lies solely with the user.
This model cannot substitute for medical advice, diagnosis, or treatment, and qualified healthcare professionals should always be consulted for medical decisions.
This disclaimer applies to the maximum extent permitted by applicable law.

법적 책임 면책 조항

본 모델의 사용으로 인해 발생하는 모든 결과에 대해 모델 개발자 및 배포자는 어떠한 법적 책임도 지지 않습니다.
이는 모델의 출력으로 인한 직접적, 간접적, 우발적, 특수한, 징벌적 또는 결과적 손해를 포함합니다.
사용자는 본 모델을 사용함으로써 발생할 수 있는 모든 위험을 감수하며, 모델의 출력에 대한 검증 및 적절한 사용에 대한 책임은 전적으로 사용자에게 있습니다.
본 모델은 의학적 조언, 진단, 또는 치료를 대체할 수 없으며, 의료 관련 결정을 내릴 때는 반드시 자격을 갖춘 의료 전문가와 상담해야 합니다.
이 면책 조항은 관련 법률이 허용하는 최대 범위 내에서 적용됩니다.

Model Card Contact

유석 (tobewiseys@unidocs.co.kr), 김종완(jongwankim@unidocs.co.kr)

Additional Information

For more details about the base model, please refer to the original LLaMA 3.1 documentation.