🎨 Irodori-Sen-TTS — Giọng nói song ngữ Việt–Nhật (trên nền Irodori-TTS)

🔒 Truy cập có kiểm duyệt: đây là mô hình gated. Bấm xin quyền truy cập, điền thông tin; chủ mô hình sẽ nhận thông báo và duyệt thủ công từng yêu cầu.

🏗️ Kiến trúc

• Text Encoder — token embedding từ llm-jp/llm-jp-3-150m + các lớp transformer dùng RoPE.
• Reference Latent Encoder — các lớp self-attention mã hóa giọng/phong cách từ audio mẫu.
• Diffusion Transformer — các khối DiT joint-attention với Low-Rank AdaLN và SwiGLU MLP.
• Duration Predictor — các khối SwiGLU xếp chồng để dự đoán độ dài audio.
• Codec — audio biểu diễn bằng latent liên tục qua Aratako/Semantic-DACVAE-Japanese-32dim (32 chiều), tái tạo waveform chất lượng cao 48kHz.
• SilentCipher — tích hợp watermark âm thanh vô hình, bền vững trên audio sinh ra (kế thừa từ v3), hướng tới sử dụng AI có trách nhiệm.

📦 Hai cách dùng (chọn 1)

• merged/model.safetensors — mô hình đã gộp sẵn, dùng trực tiếp (không cần adapter).
• adapter/ — LoRA adapter, gắn lên base Aratako/Irodori-TTS-500M-v3 khi suy luận.

🚀 Cách dùng

Cách 1 — dùng model đã gộp (merged/, đơn giản nhất)

Cách 2 — dùng LoRA adapter (gắn lên base v3)

💡 Thay <ckpt>, <base>, <adapter_dir> bằng đường dẫn được in ra từ đoạn Python phía trên. Bỏ --ref-wav và thêm --no-ref nếu muốn chạy không giọng mẫu.

🔊 Nghe thử

1. 🎙️ Nhân bản giọng (voice cloning)

1. Tiếng Việt — Đừng hiểu lầm nhé, không phải vì lo cho cậu đâu, chỉ là tiện đường ngang qua thôi.
2. Tiếng Nhật — はじめまして、どうぞよろしくお願いいたします。
3. Tiếng Việt (câu dài) — Buổi sáng hôm nay trời trong xanh và mát mẻ, tôi quyết định đi dạo một vòng quanh công viên gần nhà để hít thở không khí trong lành.

2. 🎌 Nhân bản giọng chéo — giọng mẫu tiếng Nhật đọc câu tiếng Việt

1. Câu ngắn — Xin chào, rất vui được gặp bạn ngày hôm nay.
2. Câu vừa — Cảm ơn cậu đã luôn ở bên và giúp đỡ tớ suốt thời gian qua.
3. Câu dài — Dù giọng mẫu mang âm sắc tiếng Nhật, mô hình vẫn đọc trọn vẹn một câu tiếng Việt dài với ngữ điệu tương đối tự nhiên và dễ nghe.

3. 🎭 Không giọng mẫu — điều khiển biểu cảm bằng emoji

1. Tiếng Việt — Thôi được rồi😮‍💨, mình chịu thua cậu rồi đấy.
2. Tiếng Nhật — ねえ、どうしたの？…😮‍💨話してみて。
3. Tiếng Việt (câu dài) — Cả ngày hôm nay mệt quá đi😮‍💨, chỉ mong sớm được về nhà nghỉ ngơi một chút cho lại sức.

4. 🗣️ Không giọng mẫu — đọc thường

1. Tiếng Việt — Hôm nay là một ngày đẹp trời để bắt đầu một công việc mới.
2. Tiếng Nhật — 今日はとてもいい天気ですね。少し散歩しましょう。
3. Tiếng Việt (câu dài) — Công nghệ tổng hợp giọng nói đang phát triển rất nhanh trong những năm gần đây, mở ra nhiều ứng dụng hữu ích cho giáo dục, giải trí và trợ lý ảo.

😀 Điều khiển bằng emoji

💡 Mẹo: đặt emoji ở giữa hoặc cuối câu cho kết quả tự nhiên nhất; tránh đặt ngay đầu câu.

⚠️ Chưa đảm bảo chất lượng emoji trên tiếng Việt: khả năng điều khiển emoji được kế thừa từ mô hình gốc (huấn luyện trên dữ liệu tiếng Nhật có emoji). Phần tiếng Việt chưa được huấn luyện riêng trên tập dữ liệu emoji, nên hiệu quả emoji khi đọc tiếng Việt còn chưa ổn định — đây là phần đang trong quá trình nghiên cứu và sẽ cải thiện ở các phiên bản sau.

⚠️ Hạn chế

• Biểu cảm emoji giảm khi nhân bản giọng trung tính/lạnh — muốn biểu cảm mạnh nên dùng chế độ không giọng mẫu (mục 2).
• Đọc tiếng Nhật tốt nhất khi không giọng mẫu hoặc dùng giọng mẫu tiếng Nhật; ép giọng mẫu tiếng Việt đọc tiếng Nhật sẽ kém chuẩn hơn.
• Trộn Việt–Nhật trong cùng một câu/đoạn dài còn yếu — nên tách theo từng ngôn ngữ.
• Đoạn quá dài (khoảng trên 8–10 giây) có thể kém ổn định ở phần cuối.
• Mô hình 500M — kỳ vọng "đủ tốt", không phải chất lượng đỉnh của các hệ lớn.

🚧 Đang phát triển: mô hình vẫn đang được huấn luyện tiếp để cải thiện các hạn chế trên (biểu cảm, code-switch, độ ổn định câu dài). Các phiên bản sau sẽ được cập nhật.

🙏 Lời cảm ơn / 謝辞

📜 Giấy phép

🖊️ Trích dẫn