syv.ai TTS v0.1
TTS v0.1 er vores første open source tekst-til-tale model. Den er trænet på over 1000 timers dansk lyd.
Model
Modellen er originalt en LLAMA 3.2 3B model, som er blevet trænet på 100.000 timers engelsk, og vi har efterfølgende trænet den til at tale dansk.
I det, at modellen er en LLM, så betyder det også, at der kan køres inferens på den ved hjælp af vLLM, ollama eller andre populære inferns-frameworks.
Vi anbefaler, at I kigger efter hvordan inferens er implementeret i
Orpheus.
Vi søger mere tale
Ligger du inde med lyd (gerne ikke oplæst), så hører vi gerne fra dig. Vi søger specifikt normal samtale lyd.
Licens
Følger MIT for privatpersoner og organisationer der vil bruge modellen til forskning. Ved kommercielt brug skal der betales 1 kr. for en livstidslicens. Læs LICENSE.txt for den fulde licens.
Træningskonfiguration
axolotl version: 0.8.0
1base_model: syvai/tts-v1-pretrained
2# Automatically upload checkpoint and final model to HF
3hub_model_id: syvai/tts-v1-finetuned
4
5plugins:
6 - axolotl.integrations.liger.LigerPlugin
7liger_rope: true
8liger_rms_norm: true
9liger_glu_activation: true
10liger_fused_linear_cross_entropy: true
11
12datasets:
13 - path: syvai/zac-coral-tts
14 type:
15dataset_prepared_path: last_run_prepared
16val_set_size: 0.01
17eval_sample_packing: False
18output_dir: ./outputs/finetuned
19
20sequence_len: 8192
21sample_packing: true
22pad_to_sequence_len: true
23
24wandb_project: orph
25wandb_entity:
26wandb_watch:
27wandb_name:
28wandb_log_model:
29
30gradient_accumulation_steps: 8
31micro_batch_size: 4
32num_epochs: 3
33optimizer: adamw_torch_fused
34lr_scheduler: cosine
35learning_rate: 2e-5
36
37bf16: auto
38tf32: false
39
40gradient_checkpointing: true
41gradient_checkpointing_kwargs:
42 use_reentrant: false
43resume_from_checkpoint:
44logging_steps: 1
45flash_attention: true
46
47warmup_steps: 3
48evals_per_epoch: 5
49saves_per_epoch: 5
50weight_decay: 0.05
51
52special_tokens:
53 pad_token: <custom_token_7>
54
tts-v1-finetuned
This model is a fine-tuned version of
syvai/tts-v1-pretrained on the syvai/zac-coral-tts dataset.
It achieves the following results on the evaluation set:
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- gradient_accumulation_steps: 8
- total_train_batch_size: 32
- optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
- lr_scheduler_type: cosine
- lr_scheduler_warmup_steps: 3
- num_epochs: 3.0
Training results
| Training Loss | Epoch | Step | Validation Loss |
|---|
| 4.9492 | 0.0246 | 1 | 4.8478 |
| 4.7181 | 0.1969 | 8 | 4.5872 |
| 4.5871 | 0.3938 | 16 | 4.4631 |
| 4.557 | 0.5908 | 24 | 4.3972 |
| 4.4965 | 0.7877 | 32 | 4.3521 |
| 4.4697 | 0.9846 | 40 | 4.3258 |
| 4.4525 | 1.1723 | 48 | 4.3083 |
| 4.4301 | 1.3692 | 56 | 4.2980 |
| 4.4459 | 1.5662 | 64 | 4.2915 |
| 4.4382 | 1.7631 | 72 | 4.2893 |
| 4.4315 | 1.96 | 80 | 4.2866 |
| 4.4178 | 2.1477 | 88 | 4.2861 |
| 4.4501 | 2.3446 | 96 | 4.2859 |
| 4.4121 | 2.5415 | 104 | 4.2856 |
| 4.4164 | 2.7385 | 112 | 4.2859 |
| 4.4264 | 2.9354 | 120 | 4.2860 |
Framework versions
- Transformers 4.51.3
- Pytorch 2.6.0+cu124
- Datasets 3.5.0
- Tokenizers 0.21.1
