1>>> from transformers import AutoTokenizer
2>>> old_tokenizer = AutoTokenizer.from_pretrained('skt/kogpt2-base-v2')
3>>> tokenizer = AutoTokenizer.from_pretrained('jnsulee/ko_math_tokenizer')
4
5example = "다항식의 덧셈은 동류항끼리 모아서 정리한다.이때 두 다항식의 차 A-B는 A에 B의 각 항의 부호를 바꾼 -B를 더한 것과 같다. 즉, A-B=A+(-B)이다."
6old_tokenizer.tokenize(example)
7#['▁다', '항', '식의', '▁덧', '셈', '은', '▁동', '류', '항', '끼리', '▁모아서', '▁정리한', '다.', '이', '때', '▁두', '▁다', '항', '식의', '▁차', '▁A', '-B', '는', '▁A', '에', '▁B', '의', '▁각', '▁항의', '▁부', '호를', '▁바꾼', '▁-', 'B', '를', '▁더한', '▁것과', '▁같다.', '▁\n', '즉', ',', '▁A', '-B', '=', 'A', '+', '(', '-B', ')이다.']
8tokenizer.tokenize(example)
9#['▁다항식', '의', '▁덧셈', '은', '▁동류항', '끼리', '▁모아서', '▁정리', '한다', '.', '이', '때', '▁두', '▁다항식', '의', '▁차', '▁A', '-', 'B', '는', '▁A', '에', '▁B', '의', '▁각', '▁항의', '▁부호', '를', '▁바꾼', '▁-', 'B', '를', '▁더한', '▁것', '과', '▁같', '다', '.', '▁\n즉', ',', '▁A', '-', 'B', '=', 'A', '+', '(', '-', 'B', ')', '이다', '.']