-
Model Description:
뭔가 찾아봐도 모델이나 알고리즘이 딱히 없어서 만들어본 모델입니다.
BartForConditionalGeneration Fine-Tuning Model For Number To Korean
BartForConditionalGeneration으로 파인튜닝한, 숫자를 한글로 변환하는 Task 입니다.
-
Dataset use
Korea aihub
I can't open my fine-tuning datasets for my private issue
데이터셋은 Korea aihub에서 받아서 사용하였으며, 파인튜닝에 사용된 모든 데이터를 사정상 공개해드릴 수는 없습니다.
-
Korea aihub data is ONLY permit to Korean!!!!!!!
aihub에서 데이터를 받으실 분은 한국인일 것이므로, 한글로만 작성합니다.
정확히는 음성전사를 철자전사로 번역하는 형태로 학습된 모델입니다. (ETRI 전사기준)
-
In case, ten million, some people use 10 million or some people use 10000000, so this model is crucial for training datasets
천만을 1000만 혹은 10000000으로 쓸 수도 있기에, Training Datasets에 따라 결과는 상이할 수 있습니다.
-
수관형사와 수 의존명사의 띄어쓰기에 따라 결과가 확연히 달라질 수 있습니다. (쉰살, 쉰 살 -> 쉰살, 50살) https://eretz2.tistory.com/34
일단은 기준을 잡고 치우치게 학습시키기엔 어떻게 사용될지 몰라, 학습 데이터 분포에 맡기도록 했습니다. (쉰 살이 더 많을까 쉰살이 더 많을까!?)
-
-
Language(s): Korean
-
License: apache-2.0
-
Parent Model: See the
kobart-base-v2 for more information about the pre-trained base model.
Want see more detail follow this URL
KoGPT_num_converter and see
bart_inference.py and
bart_train.py
1from transformers.pipelines import Text2TextGenerationPipeline
2from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
3texts = ["그러게 누가 6시까지 술을 마시래?"]
4tokenizer = AutoTokenizer.from_pretrained("lIlBrother/ko-barTNumText")
5model = AutoModelForSeq2SeqLM.from_pretrained("lIlBrother/ko-barTNumText")
6seq2seqlm_pipeline = Text2TextGenerationPipeline(model=model, tokenizer=tokenizer)
7kwargs = {
8 "min_length": 0,
9 "max_length": 1206,
10 "num_beams": 100,
11 "do_sample": False,
12 "num_beam_groups": 1,
13}
14pred = seq2seqlm_pipeline(texts, **kwargs)
15print(pred)
16# 그러게 누가 여섯 시까지 술을 마시래?