Symato/

facebook_xlm-roberta-base__trimm_vocab__bf16

model FacebookAI/xlm-roberta-base
params 278043648
embeds 192001536
torch.bfloat16

model Symato/facebook_xlm-roberta-base__trimm_vocab__bf16
params 121775616
embeds 35733504
torch.float16

Giảm vocab size từ 250002 / 46000 => 5.43 lần
=> embeddings giảm từ 192m xuống 36m
=> model size giảm từ 270m xuống 121m (còn 45%)
Phở bert large 370M, phở bert base 135M