Quantization made by Richard Erkhov.
Mistralopithecus-v0.1-10.8B - GGUF
Original model description:
license: cc-by-nc-sa-4.0
Model Details
Model Developers Seungyoo Lee (DopeorNope)
이 모델은 Mistral Base의 새로운 아키텍쳐이며, 10.7B의 파라미터로 구성되었습니다. (Solar나, 시나트라 베이스 모델이 아닙니다.)
약 1.5B의 토큰으로 pretrain 되었으나, 실험단계로 향후 다시 훈련되어 새롭게 나올 예정입니다.
테스트용으로 올려봅니다.
Context length가 32k 까지지원 가능한 모델이며, 향후 더 완벽하게 설계하여 올리도록 하겠습니다.