Kyudan/

TeXBLEU-Tokenizer

from huggingface_hub import snapshot_download

def load_tokenizer_from_hub(repo_name: str = "Kyudan/TeXBLEU-Tokenizer") -> Tokenizer: # Hugging Face Hub에서 토크나이저 다운로드 snapshot_dir = snapshot_download(repo_id=repo_name)

# 다운로드한 토크나이저 불러오기
    tokenizer = Tokenizer.from_file(f"{snapshot_dir}/tokenizer.json")
    return tokenizer