Tom and Jerry Image Classification with ViT

• Tom
• Jerry

Metodología

1. Preparación del dataset
   Se utilizó el dataset RobertoMDLP/tom_and_jerry con dos clases (Tom, Jerry).
   El conjunto de datos se dividió en 70% para entrenamiento, 15% para validación y 15% para prueba.
2. Preprocesamiento
   Las imágenes fueron redimensionadas a 224×224 píxeles y normalizadas utilizando el ViTImageProcessor preentrenado de google/vit-base-patch16-224-in21k.
   No se aplicaron técnicas de aumento de datos.
3. Entrenamiento
   Se empleó el modelo base ViT con fine-tuning completo.
   La configuración incluyó:
   • Tamaño de lote: 8 (entrenamiento y evaluación)
   • Tasa de aprendizaje: 2e-4
   • Épocas: 3
   • Estrategia de evaluación: cada 100 pasos
   • Precisión mixta (FP16)
   • Early stopping con paciencia de 3 evaluaciones
   • Selección del mejor modelo según accuracy de validación
4. Evaluación
   El rendimiento se midió con Accuracy, F1, Precision y Recall.
   Se seleccionó el checkpoint con mejor Accuracy en validación.

Resultados

Resumen de métricas (mejor checkpoint)

Evolución por pasos

Métricas finales

• Epoch: 2.1583
• Loss: 0.0394
• Tiempo: 6 min 3 s
• Velocidad: 30.58 muestras/s

• Accuracy: 0.9916
• F1: 0.9911
• Precision: 0.9911
• Recall: 0.9911
• Loss: 0.0403
• Tiempo: 6.33 s
• Velocidad: 74.97 muestras/s

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4