✨ EchoLLM
⚠️ Experimental model – early stage development
⚠️ Deneysel model – erken geliştirme aşamasında
Author / Geliştirici: Aydın DAĞLAR
Framework: PyTorch
License: Apache 2.0
Tags: experimental, transformer, moe, kv-memory, alibi, llm-research
📌 Overview (English)
EchoLLM is a modular transformer model that incorporates experimental techniques such as Performer attention, Mixture of Experts (MoE), persistent Key-Value Memory, and ALiBi positional biasing.
🔬 ⚠️ This model has not been trained yet.
It is currently in the architecture prototyping phase, and no official checkpoints or performance metrics are available.
The model is provided for research, experimentation, and extension purposes only.
Key experimental features:
- Performer Attention – For scalable linear-time attention.
- Mixture of Experts (MoE) – Dynamic expert selection for efficient learning.
- Key-Value Memory – A module to retain context across long sequences.
- ALiBi Positional Encoding – A non-embedding approach to sequence length flexibility.
- Quantization and Pruning Ready – Designed for post-training optimization (optional).
- Multi-format Export – Can be exported to
.bin or .safetensors.
Usage is currently limited to architecture testing and static exports.
📌 Genel Bakış (Türkçe)
EchoLLM, Performer dikkat yapısı, Uzman Karışımı (MoE), Anahtar-Değer Hafızası ve ALiBi pozisyon kodlaması gibi deneysel bileşenleri içeren modüler bir transformer mimarisidir.
🔬 ⚠️ Bu model henüz eğitilmemiştir.
Şu anda yalnızca mimari prototip aşamasındadır.
Herhangi bir eğitilmiş ağırlık, doğruluk metrikleri ya da kullanım senaryosu mevcut değildir.
Öne çıkan deneysel özellikler:
- Performer Dikkat – Uzun dizilerde verimli dikkat hesaplaması.
- MoE – Token başına uzman seçimi ile hesaplama verimliliği.
- KV Hafıza – Bağlamı uzun süreli olarak koruyabilen hafıza yapısı.
- ALiBi Kodlama – Pozisyonel embedding yerine bias tabanlı esneklik.
- Quantization & Pruning Desteği – Eğitim sonrası hafifletme için tasarlandı.
- Çoklu Format Desteği –
.bin ve .safetensors çıktıları alınabilir.
Şu an yalnızca mimari test ve dışa aktarım amaçlı kullanılabilir.
🧠 Architecture Summary
| Parametre | Değer |
|---|
| Gizli Katman Boyutu | 768 |
| Katman Sayısı | 12 |
| Dikkat Kafası Sayısı | 12 |
| Feedforward Genişliği | 3072 |
| MoE Uzman Sayısı | 4 |
| Maksimum Pozisyon | 2048 token |
| Sözlük Boyutu | 32,000 |
| Hafıza Kapasitesi | 512 token |
| Quantization / Pruning | Opsiyonel |
🧑💻 Developed By
Aydın DAĞLAR
Design, prototyping, and modular engineering.
For feedback, collaboration, or updates, visit: [Hugging Face profile or GitHub link here]
📄 License
This project is licensed under the Apache 2.0 License.
Use freely for experimentation, but cite the author if you publish related work.
