You can deploy this model and start earning money today!

RichardErkhov/
Aratako_-_Ninja-v1-RP-8bits

Name: Aratako_-_Ninja-v1-RP-8bits
Availability: InStock

Views

No views yet

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Ninja-v1-RP - bnb 8bits

Model creator: https://huggingface.co/Aratako/
Original model: https://huggingface.co/Aratako/Ninja-v1-RP/

Original model description:

license: cc-by-nc-4.0 datasets:

Aratako/Rosebleu-1on1-Dialogues-RP
Aratako/LimaRP-augmented-ja-karakuri
grimulkan/LimaRP-augmented
Aratako/Bluemoon_Top50MB_Sorted_Fixed_ja
SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed
OmniAICreator/Japanese-Roleplay language:
ja library_name: transformers tags:
roleplay
merge
mergekit base_model:
Aratako/Ninja-v1-RP-WIP

Ninja-v1-RP

GGUF版はこちら/Click here for the GGUF version

概要

This is a merge of pre-trained language models created using mergekit.

Aratako/Ninja-v1-RP-WIPをベースに、Task Vectorの加算・Model Stockによるマージを行い指示追従能力と表現力を強化したロールプレイ用モデルです。

マージ元モデルの学習データセット等の詳細は元モデルのモデルカードを参照してください。

プロンプトフォーマット

Vicunaのchat templateを利用してください。また、設定などを渡すシステムプロンプトは最初のUSER: より前に入力されることを想定しています。

また、マルチターンの対話を行う場合各ターンのアシスタントの応答の末尾にeos_token（</s>）を必ずつけてください。

{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}
USER: {userの最初の入力}
ASSISTANT:

マージの詳細

まず、Aratako/Ninja-v1-RP-WIPに対し、以下4つの英語RP用モデルのTask Vectorを0.8倍して加算し、4種類のTask Vector加算モデルを作成しました。

各モデルのTask Vectorの加算の式は以下の通りです。

new_model = Ninja-v1-RP-WIP + 0.8 * (target_model - Mistral-7B-v0.1)

次に、このTask Vector加算によってできた4モデルと元のモデルを、Model Stockという手法を用い以下のようなconfigを使ってmergekitでマージし、このモデルを作成しました。

yaml

models:
  - model: ./Ninja-v1-RP-WIP
  - model: ./Ninja-v1-RP-WIP-Kunoichi
  - model: ./Ninja-v1-RP-WIP-SiliconMaid
  - model: ./Ninja-v1-RP-WIP-WestLake
  - model: ./Ninja-v1-RP-WIP-LoyalMacaroniMaid
merge_method: model_stock
base_model: ./Ninja-v1-RP-WIP
dtype: bfloat16
tokenizer_source: union

RichardErkhov/Aratako_-_Ninja-v1-RP-8bits

Original model description:

Ninja-v1-RP

概要

プロンプトフォーマット

マージの詳細

RichardErkhov/
Aratako_-_Ninja-v1-RP-8bits