Views
No views yet
7000 часов аудио на русском языке. Важным отличием от других моделей является то, что тут есть поддержка пунктуации в распознанных аудио. Архитектура во многом вдохновлена Voxtral, но отличается в некоторых моментах.1from transformers import AutoModelForCausalLM, AutoTokenizer, AutoFeatureExtractor
2import torch
3import librosa
4
5model = AutoModelForCausalLM.from_pretrained("Vikhrmodels/Borealis", trust_remote_code=True)
6tokenizer = AutoTokenizer.from_pretrained("Vikhrmodels/Borealis")
7extractor = AutoFeatureExtractor.from_pretrained("Vikhrmodels/Borealis")
8
9generation_params = {
10 "max_new_tokens": 350,
11 "do_sample": True,
12 "top_p": 0.9,
13 "top_k": 50,
14 "temperature": 0.2,
15 }
16
17model.eval()
18model.to("cuda")
19
20waveform, sr = librosa.load("path/to/your/audio.wav", sr=16_000)
21
22proc = extractor(
23 waveform,
24 sampling_rate=sr,
25 padding="max_length",
26 max_length=480_000,
27 return_attention_mask=True,
28 return_tensors="pt",
29 )
30
31mel = proc.input_features.squeeze(0).to("cuda")
32att_mask = proc.attention_mask.squeeze(0).to("cuda")
33
34with torch.inference_mode():
35 transcript = model.generate(mel=mel, att_mask=att_mask, **generation_params)
36
37print(transcript)Borealis на фоне остальных открытых моделей, который поддерживают русский язык. Бенчмарк мы скоро выложим в открытый доступ| Модель | Средний WER | RuLS | CV 22.0 | Books | Speak | Sova |
|---|---|---|---|---|---|---|
| Borealis | 6.33% | 6.39% | 2.67% | 5.28% | 1.95% | 15.37% |
| GigaAM-ASR-V2-RNNT | 5.85% | 5.24% | 2.85% | 8.06% | 3.08% | 10.01% |
| openai/whisper-large-v3 | 10.74% | 11.62% | 7.51% | 12.19% | 2.74% | 19.65% |
| bond005/whisper-podlodka-turbo | 9.38% | 11.91% | 6.36% | 8.96% | 3.14% | 16.55% |
| openai/whisper-large-v3-turbo | 11.30% | 11.88% | 8.17% | 13.29% | 2.80% | 20.37% |
| bond005/whisper-large-v3-ru-podlodka | 10.76% | 10.24% | 7.80% | 10.31% | 3.23% | 22.21% |
| nvidia/canary-1b-v2 | 13.52% | 20.16% | 9.12% | 11.45% | 4.97% | 21.89% |
| VOSK-model-ru-0.42 | 11.30% | 12.06% | 11.87% | 10.80% | 2.61% | 19.15% |
| GigaAM-ASR-V2-CTC | 6.45% | 5.26% | 3.42% | 7.72% | 3.01% | 12.86% |