sherpa-onnx-kompatibler ONNX-Export (int8-quantisiert) von primeline/parakeet-primeline, einem deutschen Fine-Tune von nvidia/parakeet-tdt-0.6b-v3 (FastConformer-TDT, 0.6B Parameter).

Erstellt für VoxJuris — eine Windows-Diktier-App für deutsche Rechtssprache — zur lokalen (Offline-)Spracherkennung ohne GPU.

Dateien

Datei	Beschreibung
`encoder.int8.onnx` + `encoder.int8.onnx.data`	Encoder, int8-quantisiert (Gewichte in externer Datei)
`decoder.int8.onnx`	Prediction-Network, int8-quantisiert
`joiner.int8.onnx`	Joiner-Network, int8-quantisiert
`tokens.txt`	Token-Vokabular für sherpa-onnx
`bpe.vocab`	BPE-Vokabular (Referenz, von sherpa-onnx nicht zwingend benötigt)

Verwendung mit sherpa-onnx

python

import sherpa_onnx

recognizer = sherpa_onnx.OfflineRecognizer.from_transducer(
    encoder="encoder.int8.onnx",
    decoder="decoder.int8.onnx",
    joiner="joiner.int8.onnx",
    tokens="tokens.txt",
    model_type="nemo_transducer",
    num_threads=4,
    decoding_method="greedy_search",
)

Ebenso nutzbar über das org.k2fsa.sherpa.onnx-NuGet-Paket (C#) mit OfflineRecognizerConfig.ModelConfig.ModelType = "nemo_transducer".

Konvertierung

Export via NeMo (nemo.collections.asr) → sherpa-onnx export-onnx-nemo-transducer-models.py, anschließend dynamische int8-Quantisierung via onnxruntime.quantization.quantize_dynamic. TDT-Erkennung in sherpa-onnx basiert auf dem Substring "tdt" im url-Metadatenfeld des Encoders — entsprechend gesetzt.

Lizenz

CC-BY-4.0, wie das Basismodell primeline/parakeet-primeline und nvidia/parakeet-tdt-0.6b-v3. Attribution: primeline (Fine-Tune) und NVIDIA (Basismodell/Architektur).

flozen1981/parakeet-primeline-onnx

parakeet-primeline-onnx

Dateien

Verwendung mit sherpa-onnx

Konvertierung

Lizenz

flozen1981/
parakeet-primeline-onnx