Views
No views yet
Coidemo/whisper-large-v3-filler-lora を base にマージして MLX 形式 (weights.npz) に変換済み。即 mlx_whisper で推論できる。| 指標 | Base Whisper | This Model | 改善 |
|---|---|---|---|
| Char WER | 8.61% | 5.59% | -35% 相対 |
| FIR (Filler Inclusion Rate) | 13.3% | 48.9% | 3.7倍 |
| filler recall | 6/45 | 22/45 | +16 |
1import mlx_whisper
2
3result = mlx_whisper.transcribe(
4 "video.mp4",
5 path_or_hf_repo="Coidemo/whisper-large-v3-filler-mlx",
6 language="ja",
7 initial_prompt=(
8 "以下は話し言葉のインタビューです。間投詞や言い淀みも省略せずに"
9 "書き起こしてください。例: えーっと、あの、うーん、なんか、まあ"
10 ),
11)
12for seg in result["segments"]:
13 print(seg["text"])1# TextffCut をインストール
2brew install coidemo/textffcut/textffcut
3
4# LoRA モデルで文字起こし + AI 切り抜き + FCPXML + SRT 生成
5textffcut clip -m large-v3-lora-20260129 ./videos/動画.mp4openai/whisper-large-v3 の Decoder attention 層に LoRA (rank=16) を適用。日本語ポッドキャスト 1 話者 50 分、手動修正済みトランスクリプトで 10 epochs fine-tune (Apple M4 Max で 17 分)merge_and_unload() で base に rank 更新を畳み込みself_attn.q_proj 等) を MLX Whisper の naming (attn.query 等) に変換、Conv1d の shape を MLX 規約 (out, k, in) に permute、alignment_heads (word timestamp 用) も (10, 2) int64 配列で埋め込みconfig.json: MLX Whisper の ModelDimensions (n_mels=128, n_audio_layer=32, n_text_layer=32 等)weights.npz: マージ済み weights (fp16, 2.9GB)Coidemo/whisper-large-v3-filler-lora (PEFT 形式、42MB、HF transformers で使う場合)1@article{radford2022whisper,
2 title={Robust Speech Recognition via Large-Scale Weak Supervision},
3 author={Radford, Alec and Kim, Jong Wook and Xu, Tao and Brockman, Greg and McLeavey, Christine and Sutskever, Ilya},
4 journal={arXiv preprint arXiv:2212.04356},
5 year={2022}
6}