DeepSeek (深度求索)が公式自らDeepSeek-R1をLlama-3.3-70B-Instructに蒸留したThinkingモデル、
DeepSeek-R1-Distill-Llama-70BをGGUFフォーマットに変換したものです。
日本語能力を重視し、日本語が多量に含まれる
TFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Windows版llama.cpp-b4514およびllama.cpp-b4453同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
