Views
No views yet
Huggingface Transformers 라이브러리를 활용하여 KoBERT를 손쉽게 사용할 수 있습니다.utils.py에서 KoBERTTokenizer를 임포트해야 합니다.1from transformers import BertModel
2from kobert_tokenizer import KoBERTTokenizer
3
4def load_tokenizer(args):
5 bert_tokenizer = KoBERTTokenizer.from_pretrained(pretrained_model_name_or_path="skt/kobert-base-v1")
6 return bert_tokenizer$ python3 main.py --model_type kobert --do_train --do_eval--write_pred 옵션을 주면 evaluation의 prediction 결과가 preds 폴더에 저장됩니다.$ python3 predict.py --input_file {INPUT_FILE_PATH} --output_file {OUTPUT_FILE_PATH} --model_dir {SAVED_CKPT_PATH}| 모델 | Slot F1 (%) |
|---|---|
| KoBERT | 99.00 |
| DistilKoBERT | 90.00 |
| Bert-Multilingual | 99.00 |
나는 한잔은 아이스 아메리카노를 마시고 디저트는 마카롱 3개를 먹음.나는 [한:QTY-B] [잔:UNIT-B] 은 [아이스:FOOD-B] [아메리카노:FOOD-I] 마시고 디저트는 [마카롱:FOOD-B] [3:QTY-B] [개:UNIT-B] 를 먹음.