You can deploy this model and start earning money today!

vasil646/
jepa_text

HuggingFaceFW/fineweb-edu

BAAI/bge-small-en-v1.5

finetune

mit

Views

No views yet

Text-JEPA Streaming Embeddings

Семантические эмбеддинги, обученные с помощью Text-JEPA (Joint Embedding Predictive Architecture) на датасете FineWeb-Edu через Streaming Pipeline.

🚀 Особенности

Базовая модель: BGE-Small-EN-v1.5 (ONNX)
Архитектура: 2-layer Transformer Encoder + VICReg Loss
Output dimension: 128
Поддержка: NVIDIA GPU (CUDA) и CPU (AVX2/FMA) с автоопределением
Обучение: 50K+ шагов на 500K примерах (Streaming)

📦 Быстрый старт

python

from huggingface_hub import snapshot_download

# Скачать все веса и код
snapshot_download("vasil646/jepa_text", local_dir="./jepa_text")