Nagato-Sakura-Language-Model (NS-LM)

簡介

公告

• 本模型不支援 HuggingFace 格式僅能透過 github 下載推理程式進行推理。
• 由於開發者設備性能有限(單卡 RTX 3070 8GB)，所以本項目為實驗性質以 60M 模型參數開發。
• 模型僅支援繁體中文，並對英文、日文僅提供最低識字。

已知問題

• Tokenizer 已知缺乏中文的英文人名的隔音符號「·」導致輸出「unk」，該問題已在 1.3.1 訓練器修正

快速開始

[!NOTE] 如果沒有使用到模型訓練功能或著非 NVIDIA 顯卡用戶可只安裝前三項即可。

環境設置

• Python 3
  • 下載: https://www.python.org/downloads/windows/
• PyTorch
  • 下載: https://pytorch.org/
• NVIDIA GPU驅動程式
  • 下載: https://www.nvidia.com/zh-tw/geforce/drivers/
• NVIDIA CUDA Toolkit
  • 下載: https://developer.nvidia.com/cuda-toolkit
• NVIDIA cuDNN
  • 下載: https://developer.nvidia.com/cudnn

[!TIP] 請按照當前 PyTorch 支援安裝對應的 CUDA 版本。

安裝倉庫

[!IMPORTANT] 此為必要步驟。

進行模型訓練

Cli 推理

Web 推理

方式 1：透過 inference.py（建議）

方式 2：直接啟動腳本