ML-Agents SoccerTwos Training

Requisitos

• Python 3.7 o superior
• Unity ML-Agents
• TensorFlow
• Acceso al entorno SoccerTwos (archivo .zip descargable)

Instalación

1. Clona el repositorio de ML-Agents:
   bash

   1git clone --depth 1 https://github.com/Unity-Technologies/ml-agents 2
2. Instala los paquetes necesarios:
   Dirígete a la carpeta clonada y ejecuta:
   bash

   1cd ml-agents 2pip3 install -e ./ml-agents-envs 3pip3 install -e ./ml-agents

Configuración del entorno de entrenamiento

1. Crea la carpeta para el entrenamiento:
   bash

   1mkdir -p ./train-soccer 2
2. Descarga el entorno SoccerTwos:
   Utiliza el siguiente script para descargar el archivo .zip del entorno y extraerlo:
   bash

   1import gdown 2file_id = '1KuqBKYiXiICU4kNMqEzhgyuPF5_45CL' 3gdown.download(f'https://drive.google.com/uc?export=download&id={file_id}', './train-soccer/SoccerTwos.zip', quiet=False)

```bash
chmod -R 755 ./train-soccer/SoccerTwos/SoccerTwos.x86_64

Configuración de parámetros de entrenamiento

behaviors:
  SoccerTwos:
    trainer_type: poca
    hyperparameters:
      batch_size: 4096
      buffer_size: 40960
      learning_rate: 0.0002
      beta: 0.01
      epsilon: 0.15
      lambd: 0.92
      num_epoch: 5
      learning_rate_schedule: linear
    network_settings:
      normalize: true
      hidden_units: 1024
      num_layers: 3
      vis_encode_type: simple
    reward_signals:
      extrinsic:
        gamma: 0.995
        strength: 1.0
    keep_checkpoints: 10
    max_steps: 1000000
    time_horizon: 1200
    summary_freq: 5000
    self_play:
      save_steps: 50000
      team_change: 300000
      swap_steps: 3000
      play_against_latest_model_ratio: 0.6
      initial_elo: 1200.0

with open('./train-soccer/SoccerTwos.yaml', 'w') as file:
  file.write(yaml_content)

Entrenamiento del agente