This qwen3_5 model was trained 2x faster with
Unsloth and Huggingface's TRL library.
Qwen3.5‑9B Imabari‑Wiki‑CPT
Model Overview (English)
Purpose of the model – This model continues pre‑training of the open‑source Qwen/Qwen3.5‑9B‑Base language model on a small dialect‑focused corpus taken from the Japanese Wikipedia. The goal is to adapt Qwen3.5‑9B’s generic capabilities to the Imabari dialect and content about Ehime prefecture without changing its core architecture. The model is not intended to be a fully aligned chat assistant; rather it provides a base for further fine‑tuning or experimentation.
Base model
The base model, Qwen/Qwen3.5‑9B‑Base, is a 9‑billion‑parameter causal language model with a vision encoder. According to its model card, Qwen3.5‑9B uses a hybrid architecture combining a Gated Delta Network and sparse Mixture‑of‑Experts to deliver high throughput and low latency . The model natively supports context lengths up to 262 k tokens (extensible to over one million tokens) and has 32 layers with 4096‑dimension hidden states . The developers highlight unified vision‑language training, scalable reinforcement learning, and broad multilingual support over 201 languages and dialects . Qwen3.5‑9B‑Base is released under the permissive Apache 2.0 license .
Training data
The dataset used for this continual pre‑training is ikedachin/imabari_wiki_cpt_v3, a ~49 MB corpus of 4,195 rows extracted from the Japanese Wikipedia dump (jawiki‑2026‑05‑01) . The data were cleaned and formatted using the imabarize tool: XML parsing extracts article text, MediaWiki markup and templates are removed, and irrelevant sections (blank lines, metadata, category lists) are filtered out . Each data instance contains a paragraph or section of cleaned text plus metadata (id, title, chunk_index and cpt_generator) . The dataset is exclusively in Japanese and is intended for continual pre‑training (CPT) of large language models . The corpus does not include question–answer pairs, which means the model has not been taught structured dialogue; it simply receives more raw text for language modeling.
Training procedure
- Objective: Continued pre‑training on Japanese Wikipedia content to adapt the base model to the Imabari dialect and regional topics. The original Qwen3.5‑9B‑Base weights were used as initialization.
- Method: A standard causal language modeling objective was used. The training script iterated over the cleaned paragraphs from imabari_wiki_cpt_v3, feeding them to the model and optimizing the next‑token prediction loss. No reinforcement learning or instruction tuning was applied at this stage.
- Hardware & duration: (Assume typical resources such as 8× A100 GPUs for 1–2 epochs over ~50 MB of text.) Continual pre‑training on such a small corpus tends to run quickly.
- Tokenizer: The model uses the same vocabulary and tokenizer as Qwen3.5‑9B‑Base; no new tokens were added.
Because the training data are limited and domain‑specific, the model should not be regarded as a fully general Japanese LLM. It likely retains most of Qwen3.5‑9B‑Base’s capabilities but exhibits improved familiarity with the Imabari dialect and Ehime‑related topics.
Intended use
This model is intended for research into Japanese dialect adaptation and for downstream fine‑tuning on supervised tasks. Possible applications include:
- Generating or paraphrasing text in the Imabari dialect.
- Studying continual pre‑training strategies on dialect‑specific corpora.
- Serving as a base model for further instruction tuning or RLHF.
Limitations & biases
- Data coverage: The corpus covers only a tiny slice of Japanese Wikipedia and focuses on a single dialect. Thus the model remains heavily biased by the original Qwen3.5‑9B training data and inherits any existing biases from Wikipedia.
- Language: The model is bilingual/multimodal at its core, but continual pre‑training on Japanese text may slightly reduce performance on other languages.
- Hallucinations and factuality: As with all large language models, the model may generate plausible but incorrect statements. Wikipedia content can be outdated or contain local biases.
- Harmful content: The base model is not aligned to avoid harmful outputs. Users should implement safety filters or further align the model before deploying in production.
Ethical & legal considerations
- Attribution and ShareAlike obligations: The imabari_wiki_cpt_v3 dataset is licensed under CC BY‑SA 4.0, which requires attribution and demands that adaptations be shared under the same license . Creative Commons guidance notes that when a model is trained on ShareAlike‑licensed data and publicly shared, it is prudent to release the model under the same CC license . Accordingly, this model card licenses the weights under CC BY‑SA 4.0 and provides attribution to the dataset creator (ikedachin) and the base model authors. Users who further adapt or distribute the model must abide by these ShareAlike conditions.
- Base model license: Qwen3.5‑9B‑Base is licensed under Apache 2.0 . Apache 2.0 allows distribution of derivative works provided copyright notices, license terms, and attribution notices are preserved. Our release retains the original Apache 2.0 notices and applies the additional CC BY‑SA 4.0 obligations originating from the training data.
- Fair use & copyright exceptions: The dataset is built from Wikipedia dumps, which in turn are available under CC BY‑SA 4.0. Training and distributing the model is permitted under the dataset license and under exceptions for text‑and‑data mining in many jurisdictions. Users should consult local law.
License for this model
This model is released under the Creative Commons Attribution‑ShareAlike 4.0 International (CC BY‑SA 4.0) license in order to satisfy the ShareAlike obligation of the training data and following Creative Commons guidance on models trained on SA content . When redistributing or fine‑tuning this model, you must:
- Provide appropriate credit to ikedachin (dataset creator) and the Qwen team.
- Include a link to the CC BY‑SA 4.0 license and indicate that the model is an adaptation.
- Release any derivative models or merged weights under the same license or a compatible license.
For details, see the full CC BY‑SA 4.0 legal code .
モデル概要（日本語）
モデルの目的 – 本モデルは、オープンソースの Qwen/Qwen3.5‑9B‑Base を土台に、日本語版ウィキペディアから抽出した方言コーパスで継続的な事前学習（CPT）を行うことを目的としています。愛媛県今治地域の方言や地域情報に親和性を持たせるためのもので、完全なチャットアシスタントではなく、さらなるファインチューニングや研究のためのベースモデルです。
ベースモデル
ベースとなる Qwen3.5‑9B‑Base は、視覚エンコーダを備えた 90 億パラメータの因果言語モデルです。モデルカードによれば、ゲート付きデルタネットワークと疎な Mixture‑of‑Experts を組み合わせたハイブリッドアーキテクチャを採用し、高速かつ低レイテンシの推論を実現しています 。最大 262k トークン（最大拡張で約 100 万トークン）のコンテキスト長をサポートし 、4096 次元の隠れ状態を持つ 32 層構成です 。多言語対応が強化され、201 の言語・方言をサポートしています 。ベースモデルは Apache 2.0 ライセンスで公開されています 。
使用データ
CPT 用データセットは ikedachin/imabari_wiki_cpt_v3 で、ウィキペディア日本語ダンプ（jawiki‑2026‑05‑01）から抽出した約 4,200 行・49 MB のコーパスです 。imabarize ツールを用いて XML を解析し、内部リンクやテンプレートなどのマークアップを削除し、空行やカテゴリ一覧など不要部分をフィルタリングしています 。各インスタンスはクリーニング済みの段落テキストと ID、タイトル、分割インデックス、cpt_generator から構成されます 。言語は日本語のみで、QA データは含まれていません 。
学習手法
- 目的: 今治弁や愛媛県関連トピックへの親和性向上を目的とした継続事前学習。
- 手法: Qwen3.5‑9B‑Base の重みを初期化として、imabari_wiki_cpt_v3 の段落を次トークン予測の損失関数で学習しました。強化学習や命令チューニングは行っていません。
- ハードウェア: 50 MB 程度のテキストであり、一般的な GPU 環境で数エポック程度の訓練を想定します。
- トークナイザー: ベースモデルのボキャブラリをそのまま使用し、新規トークンは追加していません。
このデータは小規模かつ特定方言に偏っているため、モデルの一般的な日本語能力はベースモデルに依存しており、方言の適応度がわずかに向上している程度と考えられます。
想定される用途
- 今治弁による文章生成やパラフレーズ。
- 方言データによる継続事前学習の研究。
- このモデルを基盤とした命令チューニングやRLHF。
制限およびバイアス
- データの範囲: コーパスは日本語ウィキペディアのごく一部で、今治方言に集中しています。そのため元の Qwen3.5‑9B のデータバイアスを継承しており、特定分野や時期の情報が過剰に反映される恐れがあります。
- 言語: 日本語テキストでの継続事前学習により、他言語パフォーマンスがわずかに低下する可能性があります。
- 幻覚と事実性: 大規模言語モデル一般と同様、もっともらしいが誤った内容を生成することがあります。ウィキペディアの情報は更新時期や執筆者のバイアスの影響を受けます。
- 安全性: ベースモデルは有害な発言抑制のための整合調整がなされていません。実用利用には追加の安全対策が必要です。
倫理的・法的留意点
- 帰属と継承: imabari_wiki_cpt_v3 は CC BY‑SA 4.0 で提供されており 、改変物を同一ライセンスで公開することが求められます。クリエイティブ・コモンズの指針では、SA 条件付きコンテンツで学習したモデルを公開する際には同一ライセンスで公開するのが保守的な遵守方法とされています 。したがって、本モデルは CC BY‑SA 4.0 でライセンスされており、データセットの作成者（ikedachin）とベースモデル作者へのクレジットを明示しています。派生モデルや統合モデルを配布する場合、同じライセンス条件を満たす必要があります。
- ベースモデルのライセンス: Qwen3.5‑9B‑Base は Apache 2.0 ライセンスで公開されており 、著作権表示やライセンス告知を保持すれば派生物の配布が認められます。本モデルでは Apache 2.0 の通知を保持しつつ、CC BY‑SA 4.0 の要件を追加しています。
- 著作権法の例外: データセットはウィキペディア（CC BY‑SA 4.0）のダンプから作成されています。学習や配布はライセンスおよび各国のテキスト・データマイニング例外に基づき許可されていますが、利用者は自国の法律を確認してください。
ライセンス
本モデルの重みは、Creative Commons Attribution‑ShareAlike 4.0 International (CC BY‑SA 4.0) ライセンスで提供されます 。
- ikedachin と Qwen チームに帰属を示し、ライセンスへのリンクと改変の有無を明示してください。
- 再配布・派生モデル作成時は 同じライセンス もしくは互換ライセンスを適用してください。
- ライセンスの全文は Creative Commons の公式サイトで確認できます 。
