Use with transformers Starting with transformers >= 4.43.0 onward, you can run conversational inference using the Transformers pipeline abstraction or by leveraging the Auto classes with the generate() function. Make sure to update your transformers installation via pip install --upgrade transformers.

python

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3.1-Korean-8B-Instruct"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=2048, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

💻 Usage for VLLM

Use with transformers Starting with vllm onward, you can run conversational inference using the vLLM pipeline abstraction with the gen() function. Make sure to update your vllm installation via pip install --upgrade vllm.

python

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/Llama-3.1-Korean-8B-Instruct"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

def gen(instruction):
    messages = [
        {
          "role": "system",
          "content": "당신은 훌륭한 AI 비서입니다. 답변 중 모르는 내용이면 모른다고 답해주세요. You are a great AI assistant. If you don't know about a user question, please tell me you don't know about it."
        },
        {
          "role": "user",
          "content": instruction
        }, 
    ]
    
    prompt_message = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=True,
    )
    
    eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    
    outputs = llm.generate(prompt_message, SamplingParams(
        stop_token_ids=eos_token_id, 
        temperature=0.3, 
        top_p=0.9,
        frequency_penalty=1.3,
        max_tokens=4096))
    
    for output in outputs:
        propt = output.prompt
        generated_text = output.outputs[0].text
        print(generated_text)

Q&A

Q. 나혜석에 대해서 알려주세요.
A. 나혜석(1896년 10월 28일 ~ 1948년 2월)은 한국의 여성 문학가이자 사회운동가로, 일제강점기의 대표적인 여성주의 문인으로 알려져 있습니다. 그녀는 일본에서 교육을 받았으며, 일본의 여성주의 운동에 참여하였습니다. 또한, 한국에서는 조선여자교육협회를 설립하고 여학교 설립 운동에 참여하였습니다.

나혜석은 시와 소설 등 다양한 장르로 활동했으며, 그녀의 작품들은 주로 여성들의 삶과 사회 문제를 다루고 있습니다. 그녀의 대표작으로는 '아리랑', '소금', '비둘기' 등이 있으며, 이 중에서도 특히 '아리랑'은 그녀가 쓴 가장 유명한 작품입니다.

또한 나혜석은 일제 강점기에 활동했던 정치적 인물로서도 유명합니다. 그녀는 독립운동을 지지하며 항일 운동에 참여하였고, 이후 대한민국 정부 수립 후에도 정치적 활동을 계속했습니다.

그녀의 생애와 업적은 한국 현대문학史와 여성주의 역사에서 중요한 역할을 한 것으로 평가됩니다.

Q. 2차 세계대전에 대해서 알려줘
A. 2차 세계 대전은 1939년부터 1945년까지 일어난 대규모 군사 충돌로, 제1차 세계 대전 이후에 발생한 최초의 전구전이었습니다. 이 전쟁은 독일과 이탈리아가 주도하여 발발했고, 소련과 미국이 주요 연합국으로 참여했습니다. 일본 또한 중립국이었지만, 독일과의 동맹 관계를 맺고 만주와 중국을 침략하였습니다.

독일은 나치당의 아돌프 히틀러가 집권하면서 확장 정책을 추진하여 오스트리아를 합병하고 체코슬로바키아를 분할하였습니다. 프랑스는 폴란드를 침공했지만 패배했고, 영국도 독일에게 항복했습니다. 그러나 영국에서는 윈스턴 처칠 총리가 집권하면서 저항 운동이 활발해졌고, 미국에서도 프랭클린 D 루즈벨트 대통령이 재선되면서 전쟁에 참여하기 시작했습니다.

소련은 스탈린 지도 아래에서 독립적인 외교 정책을 추진하며 일본과의 동맹 관계를 맺었지만, 나치 독일과의 전쟁에서 승리하면서 유럽 전역에 영향력을 행사하게 됩니다. 미국과 영국에서는 대서양 해전에서 승리하며 유럽 본토로 진격했고, 소련 역시 베르신-라파예프 선까지 진격합니다.

일본은 중국 본토와 한국 반도에도 영향력을 행사하며 태평양 지역에서의 영유권 확대를 목표로 삼았습니다. 그러나 미군 공습으로 인해 상륙 작전 실패와 함께 패배하게 됩니다.

2차 세계 대전에는 많은 국가들이 참전했으며, 사망자 수는 약 50~80백만 명 정도였습니다. 이 전쟁으로 인해 유엔 기구가 설립되었고, 국제 연합이라는 이름으로 알려져 있습니다.

물론 이것만 알고 있지 않을 수도 있으니 더 자세히 알고 싶다면 추가 질문이나 자료 요청 부탁드립니다!

Q. 돈을 빌렸는데, 돈을 안 갚으면?
A. 돈을 빌렸는데, 돈을 안 갚으면 큰 문제가 발생할 수 있습니다. 먼저, 빌린 사람과 대출한 사람 사이에 계약이 맺어져야 합니다. 이 계약은 법적으로 인정되며, 대출금액과 이자율, 갚기 기간 등이 정해져 있습니다.

대출금을 미납하면 다음과 같은 결과가 발생할 수 있습니다:

이자 부과: 미납된 금액에 대한 이자가 부과됩니다. 이자는 원금의 일정 비율로 계산됩니다.
채무불이행: 대출자(빌린 사람)는 채무불이행죄를 범하게 됩니다.
법적 조치: 채권자는 법원에서 소송을 제기하여 원상복구를 청구하거나 변제청구를 할 수 있습니다.
신용도 하락: 신용평가를 받았던 경우에는 신용도가 하락하고 금융기관에서는 차입이나 카드 발급 등에 어려움을 겪게 됩니다.

따라서, 빌린 돈은 반드시 지급해야 합니다. 만약 지급 불가능한 경우에는 즉시 통보하고 협의하여 해결해야 합니다.

하지만 모든 상황에서 가능한 것은 아니므로 전문적인 상담이나 법률상담 등을 받아보는 것이 좋습니다.

혹시 더 궁금하신 점 있으신가요?

Q. 건강하게 살기 위한 자세
A. 건강하게 살기 위한 자세는 여러 가지 요소가 있습니다. 먼저, 좋은 자세를 유지하는 것이 중요합니다. 좋은 자세란 가슴을 펴고 어깨를 편하게 하는 것입니다. 이때, 허리와 엉덩이는 자연스럽게 구부려야 합니다.

또한, 앉아 있을 때는 발이 평평하게 땅에 닿아야 합니다. 그리고 서 있을 때는 균형을 잡고 있어야 합니다.

다음으로, 운동은 필수적입니다. 매일 30분 정도의 단순한 운동을 하거나 조깅이나 수영 등에 참여하면 좋습니다. 또한, 규칙적인 식사와 충분한 수면도 중요합니다.

마지막으로 스트레스 관리가 필요합니다. 스트레스 관리 방법에는 명상이나 심호흡법 등이 있습니다.

따라서 건강하고 행복한 삶을 살기 위해서는 좋은 자세를 유지하고 규칙적인 생활습관과 운동 등을 통해 건강함과 행복함을 추구해야 합니다.

그러나 모든 사람마다 다르므로 개인별로 맞춤형 생활습관과 운동 계획이 필요할 수도 있습니다.

또한 의사는 전문가로서 정확하고 최신 정보를 제공할 수 있으므로 의사의 상담도 추천됩니다.

궁금하신 점은 언제든지 물어보세요!

Q. 건강하게 살기 위해서는 균형 잡힌 식단을 유지하고, 규칙적인 운동을 하는 것이 중요합니다. 충분한 수면을 취하고, 스트레스를 관리하는 것도 건강에 큰 영향을 미칩니다. 정기적인 건강 검진을 통해 질병을 조기에 발견하고, 관리하는 것도 중요합니다. 이것을 영어로 번역
A. 건강하게 살기 위해서는 균형 잡힌 식단을 유지하고, 규칙적인 운동을 하는 것이 중요합니다. 충분한 수면을 취하고, 스트레스를 관리하는 것도 건강에 큰 영향을 미칩니다. 정기적인 건강 검진을 통해 질병을 조기에 발견하고, 관리하는 것도 중요합니다.

영어로 번역하면 다음과 같습니다:

To live a healthy life, it is essential to maintain a balanced diet and regular exercise. Getting enough sleep and managing stress also have a significant impact on health. Regular health check-ups are also important to detect and manage diseases early on.

또한 영어로 번역된 문장은 다음과 같습니다:

Maintaining a balanced diet and regular exercise is crucial for living a healthy life. Getting sufficient sleep and managing stress also play significant roles in maintaining good health. Regular health check-ups are vital for detecting diseases at an early stage so that they can be managed effectively.

또 다른 영어로 번역된 문장은 다음과 같습니다:

A well-balanced diet and regular physical activity are key components of maintaining good health. Adequate sleep and stress management are equally important factors in keeping the body healthy. Regular medical check-ups help identify potential issues before they become serious problems.

이 외에도 여러 가지 방법으로 영어로 번역할 수 있습니다.

Q. 다음을 영어로 번역해줘: 카드 연체는 금융 거래에 큰 불이익을 초래할 수 있습니다. 연체가 발생하면 신용등급이 크게 하락하게 되며, 이는 이후 대출 신청 시 거절당하거나 불리한 조건을 받는 결과를 초래할 수 있습니다. 또한, 카드사로부터 고금리 대출이나 기타 부채의 제안을 받을 가능성이 높습니다.
A. 카드 연체는 금융 거래에 큰 불이익을 초래할 수 있습니다. 연체가 발생하면 신용등급이 크게 하락하게 되며, 이는 이후 대출 신청 시 거절당하거나 불리한 조건을 받는 결과를 초래할 수 있습니다. 또한, 카드사로부터 고금리 대출이나 기타 부채의 제안을 받을 가능성이 높습니다.

(원문 번역)

Overdue credit card payments can cause significant financial inconvenience. If a payment is overdue, the credit score will drop significantly, which may result in rejection or unfavorable terms when applying for loans later on. Additionally, there is a higher likelihood of receiving high-interest loan or other debt proposals from the card issuer.