pip install torch transformers tokenizers

import torch
from tokenizers import Tokenizer

# 토크나이저 로드
tokenizer = Tokenizer.from_pretrained("oz1115/korean-gpt-150m")

# 모델 로드 (커스텀 구현 필요)
# model = CustomGPTModel.from_pretrained("oz1115/korean-gpt-150m")

# 텍스트 생성
prompt = "인공지능의 미래는"
input_ids = tokenizer.encode(prompt).ids
# output = model.generate(input_ids, max_length=50)
# generated_text = tokenizer.decode(output)
Training Data
한국어 위키피디아 및 공개 한국어 텍스트 코퍼스
Training Procedure
Preprocessing

Tokenizer: BPE (Byte-Pair Encoding)
Vocabulary Size: 32,000
Max Sequence Length: 512

Training

Optimizer: AdamW
Learning Rate: 5e-4
Batch Size: 32 (effective)
Training Steps: ~10,000
Hardware: Google Colab (T4 GPU)

Evaluation
한국어 텍스트 생성 품질 평가는 korean_evaluation.json 파일을 참조하세요.
Limitations

학습 데이터가 제한적이어서 일반화 성능에 한계가 있을 수 있습니다
긴 문맥 처리에 제한이 있습니다 (max 512 tokens)
사실 정확성이 보장되지 않습니다

Bias and Risks
모델이 학습 데이터의 편향을 반영할 수 있습니다. 생성된 텍스트를 비판적으로 검토하시기 바랍니다.
Citation
bibtex@misc{korean-gpt-150m,
  author = {oz1115},
  title = {korean-gpt-150m: Korean Foundation Model},
  year = {2025},
  publisher = {HuggingFace},
  url = {https://huggingface.co/oz1115/korean-gpt-150m}
}
Contact

HuggingFace: @oz1115

License
MIT

oz1115/korean-1b-foundation-model

korean-gpt-150m

Model Description

Intended Uses

Primary Use

Out-of-Scope Uses

How to Use

Installation

oz1115/
korean-1b-foundation-model