Views
No views yet
peft_model_id = "SGEcon/polyglot-ko-5.8b_fin_v4"
config = PeftConfig.from_pretrained(peft_model_id)
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, quantization_config=bnb_config, device_map={"":0})
model = PeftModel.from_pretrained(model, peft_model_id)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
model.eval()import re
def gen(x):
inputs = tokenizer(f"### 질문: {x}\n\n### 답변:", return_tensors='pt', return_token_type_ids=False)
# 데이터를 GPU로 이동(사용 가능한 경우)
inputs = {k: v.to(device="cuda" if torch.cuda.is_available() else "cpu") for k, v in inputs.items()}
gened = model.generate(
**inputs,
max_new_tokens=256, # 새로 생성할 토큰의 최대 개수
early_stopping=True,
num_return_sequences=1, # 하나의 답변만 생성
do_sample=True, # 다양한 답변 생성을 위해 샘플링 활성화
eos_token_id=tokenizer.eos_token_id, # EOS 토큰 ID 사용
temperature=0.9, # 생성 다양성 조절을 위한 온도 설정
top_p=0.8, # nucleus sampling에서 사용할 p 값
top_k=50 # top-k sampling에서 사용할 k 값
)
# 생성된 시퀀스를 디코드하여 출력 텍스트로 변환
decoded = tokenizer.decode(gened[0], skip_special_tokens=True).strip()
# "### 답변:" 문자열 이후의 텍스트만 추출
answer_start_idx = decoded.find("### 답변:") + len("### 답변:")
complete_answer = decoded[answer_start_idx:].strip()
# 첫 번째 구두점(. ? !)을 찾아서 그 부분까지만 추출
match = re.search(r"[\.\?\!][^\.\?\!]*$", complete_answer)
if match:
complete_answer = complete_answer[:match.end()].strip()
return complete_answer
| Hyperparameter | SGEcon/polyglot-ko-5.8b_fin_v4 |
|---|---|
| Lora Method | Lora |
| load in 4 bit | True |
| learning rate | 3e-4 |
| lora alpa | 8 |
| lora rank | 16 |
| lora dropout | 0.05 |
| optim | paged_adamw_8bit |
| target_modules | query_key_value |
중앙은행의 역할에 대해서 설명해줄래?
중앙은행은 국가의 신용을 관리하는 중요한 역할을 담당하고 있다. 특히 금융시장의 안정성을 유지하는 것이 가장 중요하다. 중앙은행은 금융시장이 불안정해질 경우 유동성을 공급하는 등 경제가 안정적으로 운영되도록 지원하는 역할을 한다. 이 과정에서 통화량이 조절되기도 한다. 한국은행의 경우 외환보유액이 일정 수준 이하로 떨어지면 외환시장에 개입해 외환보유액을 늘리는 방법으로 외환시장의 안정성을 유지한다. 또 통화량이 너무 많을 경우에는 돈의 가치를 낮춰서 통화량을 조절한다. 이런 방법으로 경기를 조절하기도 한다. 한국은행의 정책금리가 오르면 시중금리가 오르고 이는 기업의 금융비용을 증가시켜 경기를 위축시키기 때문에 한국은행은 정책금리를 인하하는 방법으로 경기를 부양하기도 한다. 또 중앙은행은 경제가 어려워지면 돈을 풀어서 경제를 살리는 역할을 하기도 한다. 즉, 중앙은행은 경기가 침체돼 돈이 잘 돌지 않는 상황이 되면 시중에 돈을 풀어서 경기를 부양하는 방법으로 경제를 살리는 역할을 한다.