Views
No views yet
1from transformers import AutoTokenizer
2
3tokenizer = AutoTokenizer.from_pretrained("seali/turkce-saglik-bpe-tokenizer")
4tokenizer.tokenize("Hipoglisemi belirtileri nelerdir?")| Tokenizer | Fertility | Sözlük |
|---|---|---|
| Bu tokenizer | 1.24 | 32.000 |
| Qwen3-4B-Instruct | 2.74 | 151.643 |
| bert-base-multilingual-cased | 2.61 | 119.547 |
| GPT-2 | 3.93 | 50.257 |
| Terim | Bu tokenizer | Qwen3-4B |
|---|---|---|
| hipoglisemi | 1 | 4 |
| hipertansiyon | 1 | 5 |
| bağışıklık | 1 | 5 |
| enfeksiyon | 1 | 5 |
| antibiyotik | 1 | 5 |
ituperceptron/turkish_medical_reasoning — tıbbi soru-cevap ve muhakemeAhmetSemih/Turkish-Medical-Notes — klinik notlarytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0 — genel Türkçe kapsam için bir dilim<|im_start|>, <|im_end|>, <|system|>, <|user|>, <|assistant|>,
<|think|>, </|think|>.