Views
No views yet
1from tokenizers import Tokenizer 2tokenizer = Tokenizer.from_file("tokenizer.json") 3output = tokenizer.encode("Araç rotalama optimizasyonu nedir?") 4print(output.tokens)
