MT-Gen4_gemma-3-12B
EN
This association is designed to change the results of the aligned model in order to see the vector of changes in the result in the table.
Okay, I checked on the last model, I could add a description.
Now I'll add to it a little bit.
GGUF
If I don't delete or forget to post it, then the GGUF probably Q6 of this model can be found here.:
https://huggingface.co/{{ username }}/{{ model_name }}-Q6_K-GGUF
It is also not uncommon to find GGUF and imatrix GGUF here:
mradermacher
Most of the time, I use their quanta myself if possible.
mradermacher/MT-Gen4_gemma-3-12B-GGUF
mradermacher/MT-Gen4_gemma-3-12B-i1-GGUFWell, sometimes he posts my models too.:
Otakadelic
But besides that, he is also engaged in combining models himself.
Information
Well, about the model itself, well, basically, it's just a combination of Gemma 3-12B, in general, nothing remarkable.
The hypothetical model itself can work with a 128k context.
Images are normalized to a resolution of 896 x 896 and encoded as 256 tokens.
8192 tokens can be withdrawn at once.
RU
Эта объединение, с целью изменить результаты выровненой модели, для того, чтобы увидить вектор изменений результато в таблице.
Ладно на прошлой модели проверил, описание добавить смог.
Теперь немного его дополню.
GGUF
Если я не удалю и не забуду выложить, тогда GGUF вероятно Q6 этой модели можно будете найти здесь:
https://huggingface.co/{{ username }}/{{ model_name }}-Q6_K-GGUF
Также нередко GGUF и imatrix GGUF можно найти зесь:
mradermacher
Чаще всего я сам использую их кванты если это возможно.
mradermacher/MT-Gen4_gemma-3-12B-GGUF
mradermacher/MT-Gen4_gemma-3-12B-i1-GGUFНу и иногда он тоже выкладывает мои модели:
Otakadelic
Но кроме того, он ещё и сам занимается объединением моделей.
Информация
Ну про саму модель, ну в основном, это просто объединение Gemma 3-12B, в целом ничего примечательного.
Сама модель гипотетический может работать с контекстом 128к.
Изображения нормализует в разрешение 896 x 896 и кодирует как 256 токенов.
Вывести разом может 8192 токена.
MT-Gen4_gemma-3-12B is a merge of the following models using
LazyMergekit:
🧩 Configuration
1models:
2 - model: zelk12/MT-Gen4_gemma-3-12B_flatten
3 #no parameters necessary for base model
4 - model: zelk12/MT-Gen4_gemma-3-12B_flatten
5 parameters:
6 density: 0.266
7 weight: 0.833
8
9 - model: zelk12/26_05_2025_Test_LazyMergekit_gemma-3-12B
10 parameters:
11 density: 0.533
12 weight: 0.666
13
14 - model: zelk12/MT4-gemma-3-12B
15 parameters:
16 density: 0.8
17 weight: 0.5
18
19merge_method: multislerp
20base_model: zelk12/MT-Gen4_gemma-3-12B_flatten
21parameters:
22 normalize: true
23dtype: bfloat16
💻 Usage
1!pip install -qU transformers accelerate
2
3from transformers import AutoTokenizer
4import transformers
5import torch
6
7model = "zelk12/MT-Gen4_gemma-3-12B"
8messages = [{"role": "user", "content": "What is a large language model?"}]
9
10tokenizer = AutoTokenizer.from_pretrained(model)
11prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
12pipeline = transformers.pipeline(
13 "text-generation",
14 model=model,
15 torch_dtype=torch.float16,
16 device_map="auto",
17)
18
19outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
20print(outputs[0]["generated_text"])
