You can deploy this model and start earning money today!

NguyenAn05/
regional-vits-finetune

Name: regional-vits-finetune
Availability: InStock

2106.06103

Views

No views yet

VITS Vietnamese Multi-Speaker TTS

Model Text-to-Speech (TTS) tiếng Việt 3 vùng miền (Bắc – Trung – Nam), được fine-tune từ kiến trúc VITS sử dụng framework Coqui TTS.

Model hỗ trợ tổng hợp giọng nói tự nhiên với pitch contour loss tùy chỉnh giúp cải thiện ngữ điệu tiếng Việt có dấu.

Files

File	Mô tả
`best_model.pth`	Model weights
`config.json`	Cấu hình đầy đủ của model
`speakers.pth`	Speaker embedding map cho 3 giọng vùng miền

Cách sử dụng

Cài đặt

pip install TTS

Lưu ý: Model này sử dụng bản Coqui TTS đã thêm pitch contour loss. Xem chi tiết tại phần Custom Modifications bên dưới.

Inference cơ bản

python

import os
import json
import torch
import IPython.display as ipd
from TTS.utils.synthesizer import Synthesizer

MODEL_FOLDER = "./model"

model_path = os.path.join(MODEL_FOLDER, "best_model.pth")
config_path = os.path.join(MODEL_FOLDER, "config.json")
speakers_file_path = os.path.join(MODEL_FOLDER, "speakers.pth")

if not os.path.exists(model_path):
    print("LỖI: Không tìm thấy file model!")
else:
    try:
        with open(config_path, 'r', encoding='utf-8') as f:
            cfg = json.load(f)
        cfg['speakers_file'] = speakers_file_path
        if 'model_args' in cfg:
            cfg['model_args']['speakers_file'] = speakers_file_path
        with open(config_path, 'w', encoding='utf-8') as f:
            json.dump(cfg, f, indent=4)
        print("Đã tự động dọn dẹp các đường dẫn dư thừa từ Kaggle trong file Thiết kế (config.json).")
    except Exception as e:
        print(f"Bỏ qua bước dọn dẹp file config do lỗi: {e}")

    use_cuda = torch.cuda.is_available()
    print(f"\nTrạng thái Card Đồ họa (GPU): {'Hoạt động' if use_cuda else 'KHÔNG CÓ (Sẽ chạy bằng CPU)'}")
    print("Đang tải...")
  
    synthesizer = Synthesizer(
        tts_checkpoint=model_path,
        tts_config_path=config_path,
        tts_speakers_file=speakers_file_path,
        use_cuda=use_cuda
    )
  
    available_speakers = synthesizer.tts_model.speaker_manager.speaker_names
    print(f"\nCác giọng vùng miền của bạn: {available_speakers}")

TEXT_TO_SPEAK = "Xin chào tất cả mọi người đang nghe đoạn ghi âm này."

# Chọn giọng ['@HUE', '@QuangDien', '@speaker']
SPEAKER_NAME = "@HUE"  

if 'synthesizer' not in locals():
    print("LỖI: Kích hoạt lõi")
else:
    target_spk = SPEAKER_NAME if SPEAKER_NAME in available_speakers else available_speakers[0]
    print(f"Đang ép xung nặn âm thanh với nét giọng: '{target_spk}'...")
  
    wav = synthesizer.tts(
        text=TEXT_TO_SPEAK,
        speaker_name=target_spk,
    )

    print("Thành công! Ấn nút Play bên dưới để thưởng thức:")
    ipd.display(ipd.Audio(wav, rate=synthesizer.output_sample_rate))

Thông tin Model

Thuộc tính	Giá trị
Kiến trúc	VITS (Variational Inference with adversarial learning for end-to-end TTS)
Framework	Coqui TTS
Ngôn ngữ	Tiếng Việt (`vi`)
Số speakers	3 (@HUE, @QuangDien, @speaker)
Sample rate	22,050
FFT size	1,024
Hop length	256
Mel bins	80
Pitch range	65 – 640 Hz
Input	Ký tự (character-based, không dùng phoneme)
Text cleaner	`no_cleaners`

Training

Tham số	Giá trị
Epochs	200
Batch size	32
Precision	FP16 (mixed precision)
Optimizer	AdamW (β₁=0.8, β₂=0.99, ε=1e-9, wd=0.01)
Learning rate (gen/disc)	5e-5
LR scheduler	ExponentialLR (γ=0.999875)
Mel loss weight	45.0
Pitch loss weight	0.1
Weighted sampler	Theo speaker (alpha=1.0)
Platform	Kaggle (GPU)

Custom Modifications

Model này sử dụng bản Coqui TTS đã được chỉnh sửa so với upstream với các thay đổi sau:

Pitch contour loss — thêm F0 predictor và pitch loss vào VITS để cải thiện ngữ điệu tiếng Việt
F0 cache và lazy F0 — hỗ trợ tham số pitch_loss_alpha và f0_cache_path
F0 extraction — ưu tiên pyworld, fallback sang pyin
Audio loader — chuyển sang soundfile thay vì librosa
Vietnamese recipe — script train, benchmark, evaluate cho tiếng Việt
Sampler fix — sửa lỗi khởi tạo sampler với PyTorch mới

Các file đã patch từ upstream coqui-ai/TTS và thêm mới:

TTS/tts/configs/vits_config.py
TTS/tts/datasets/dataset.py
TTS/tts/layers/losses.py
TTS/tts/models/vits.py
TTS/tts/utils/text/phonemizers/__init__.py
TTS/utils/audio/numpy_transforms.py
TTS/utils/samplers.py
recipes\vietnamese\vits\train_vits_vi.py
recipes\vietnamese\vits\benchmark_inference.py
recipes\vietnamese\vits\evaluate.py

Character Set

Model dùng bộ ký tự character-based gồm 221 ký tự, bao gồm:

Chữ cái Latin cơ bản (a–z, A–Z, 0–9)
Toàn bộ ký tự tiếng Việt có dấu (6 thanh điệu × nguyên âm đầy đủ)
Dấu câu: !'\"(),-.:;? []/…“”‘’–—

License

MIT License

Tham khảo

Paper VITS: arxiv.org/abs/2106.06103
Coqui TTS: github.com/coqui-ai/TTS

NguyenAn05/regional-vits-finetune