davzoku/

moecule-2x1.1b-m3

python -m moetify.mix \
    --output_dir ./moecule-2x1.1b-m3 \
    --model_path jeff31415/TinyLlama-1.1B-1T-OpenOrca \
    --modules mlp q_proj \
    --ingredients \
        SumayyaAli/tiny-llama-1.1b-chat-medical \
        TinyLlama/TinyLlama-1.1B-intermediate-step-1195k-token-2.5T