from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1"
adapter_id = "yadorigi/onomatopoeia-lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(base_model_id)

model = PeftModel.from_pretrained(base_model, adapter_id)
Training Details
Training Data

本モデルは、音声からオノマトペを生成するために、以下の情報を統合したデータで学習されています。

音イベントラベル（例: water, wind, footsteps）
シーン情報（space, mood, intensity などの環境コンテキスト）
日本語オノマトペ対応データ（擬音語・擬態語）

これらを組み合わせることで、単純な音→ラベルではなく、
文脈を含んだオノマトペ生成 を可能にしています。

※データセットは独自に構築したものを使用しています。

Training Procedure

本モデルは PEFT（Parameter-Efficient Fine-Tuning）を用いた LoRA 学習で構築されています。

LoRA fine-tuning（PEFT）
条件付きプロンプトによる教師あり学習
日本語オノマトペ表現に特化した最適化

また、音響特徴とシーン情報を組み合わせることで、
環境依存の表現生成（例：自然音 vs 都市音） に対応しています。

Training Hyperparameters
Training regime: bfloat16 mixed precision
Fine-tuning method: LoRA (PEFT)

※効率的な学習とGPUメモリ使用量の最適化を目的としています。

Evaluation
Evaluation Strategy

本モデルは以下の複合的な評価手法により検証されています。

人手評価（自然さ・音との一致度）
コンテキスト整合性チェック（音環境との整合）
LLMによる自己検証（self-consistency評価）
Key Observations

評価から以下の傾向が確認されています。

単音イベント（例：足音、衝撃音）は高精度で生成可能
環境音（風、水、雑踏など）は文脈依存性が高い
「都市」と「自然」で出力の傾向が大きく変化する

このため、入力コンテキストの質が出力品質に強く影響します。

Technical Specifications
Architecture
Base model: Swallow-8B (Llama系)
Adapter: LoRA
Framework: Transformers + PEFT
Compute
GPU: NVIDIA A5000
Precision: bfloat16
Environmental Impact
Hardware: NVIDIA A5000
Training Time: 数時間〜数十時間（推定）
Carbon Impact: 未測定

※軽量なLoRA学習により、フルファインチューニングと比較して計算コストを削減しています。

More Information

本モデルは以下の生成パイプラインの一部として設計されています。

Audio → Feature Extraction → Scene Interpretation → Onomatopoeia → Manga Generation

音から視覚表現へ変換する一連のプロセスの中で、
**「音の意味を言語化する中間レイヤー」**として機能します。

## Dataset
https://huggingface.co/datasets/yadorigi/Onomatopoeia_Dataset


Contact

yadorigi team