Modelo VIT afinado para clasificación de imágenes de Tom y Jerry

Modelo base: 'google/vit-base-patch16-224-in21k'

• Tom: Tom está en la imagen
• Jerry: Jerry está en la imagen
• Tom_and_Jerry: Tom y Jerry están en la imagen
• None: Ninguno está en la imagen

Metodología

• Se realizó el afinamiento del modelo con el dataset thomashk2001/tom_and_jerry_dataset. El cual se encuentra dividido en train, eval y testing.
• Los splits están estratificados por lo que hay de cada uno de los posibles labels en los splits.
• Se realizó el procesamiento de las imágenes con el ViTImageProcessor con el modelo 'google/vit-base-patch16-224-in21k'.
• Los argumentos de entrenamiento fueron:

training_args = TrainingArguments(
    output_dir="./vit_tom_jerry_mdl",   # Checkpoints and saved model
    per_device_train_batch_size=64,# Train batch size
    per_device_eval_batch_size=64,# Eval batch size
    num_train_epochs=5,# Number of epochs
    learning_rate=2e-4,# LR rate
    eval_strategy="steps",# Eval at the end of each step
    eval_steps=25, # How often model is evaluated
    save_strategy="steps",  # Saves model every 100 steps
    save_steps=100,
    save_total_limit=5,  # Model states saved including best model
    load_best_model_at_end=True, # Loads best model at the end
    logging_dir="./logs", # Lod dir
    logging_steps=10, # Log register step
    remove_unused_columns=False,
    metric_for_best_model="f1", # Metric used for the best model 
    greater_is_better=True, # better f1 is looked after
)

• Se aplicó el afinamiento del modelo con los parámetros definidos en el paso anterior y se uso early stopping con paciencia de 3.

Resultados del entrenamiento:

Mejor Modelo

• Step: 225
• Training Loss: 0.0383
• Validation Loss: 0.1446
• Accuracy: 0.9647
• Precision: 0.9654
• Recall: 0.9642
• F1 Score: 0.9646