Views
No views yet
ollama run roylin1003/royal-ZhTW-ID-q2_k.gguf./main -m royal-ZhTW-ID-q2_k.gguf -p "Hello" -c 20481from llama_cpp import Llama
2llm = Llama(
3 model_path="royal-ZhTW-ID-q2_k.gguf",
4 n_ctx=2048,
5 n_threads=8
6)輸入: 請將以下繁體中文翻譯成印尼文
然而面臨到期債務壓力,可能影響其獲得補助的資格。
輸出: Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.輸入: 請將以下印尼文翻譯成繁體中文
Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.
輸出: 然而面臨到期債務壓力,可能影響其獲得補助的資格。| 版本 | 大小 | 記憶體需求 | 推理速度 | 品質保持率 |
|---|---|---|---|---|
| F16 | ~14GB | ~16GB | 基準 | 100% |
| Q3_K_S | ~3.25GB | ~5GB | 2.5-3x faster | ~90% |