Por Abe Haskins (Twitter, Github)
En este artículo, abordaremos el uso de Unity3D y TensorFlow para enseñarle a un sistema de IA a realizar una tarea simple dentro del juego: embocar pelotas en un aro. El código fuente completo se encuentra disponible en Github; si tienes preguntas puedes contactarme en Twitter.


Introducción a nuestro juego

Hay un juego en el que los jugadores tienen un propósito principal: embocar una pelota en un aro. Esto no parece tan difícil, pero cuando la sangre circula, el corazón se acelera y la gente alienta resulta bastante difícil realizar ese lanzamiento. ¿Estoy hablando del clásico juego americano del baloncesto? No, nunca oí hablar de este. Me refiero al clásico juego de arcade NBA Jam, de Midway.
Si alguna vez jugaste a NBA Jam o cualquier otro juego inspirado en él (incluida la liga real de la NBA, que creo que surgió después de este), sabrás que la mecánica para lanzar una pelota, desde la perspectiva del jugador, es bastante sencilla. Mantienes presionado el botón de lanzamiento y lo sueltas con una sincronización perfecta. ¿Alguna vez te preguntaste cómo se realiza este lanzamiento desde la perspectiva del juego? ¿Cómo se elige la parábola de la pelota? ¿Cuán fuerte se arroja la pelota? ¿Cómo sabe la computadora el ángulo de lanzamiento?
Si eres una persona inteligente con inclinación a las matemáticas, tal vez puedas hallar las respuestas con lapicera y papel. Sin embargo, el autor de esta entrada de blog reprobó algebra en 8.º grado, así que esas respuestas de “personas inteligentes” quedan descartadas. Tendré que abordar esto de otro modo.
En lugar de tomar el camino más sencillo, rápido y eficiente de hacer los cálculos que se requieren para el lanzamiento, veremos el tema en profundidad, aprenderemos opciones simples de TensorFlow e intentaremos hacer algunos lanzamientos.

Primeros pasos

Necesitaremos varias cosas para recorrer este proyecto.
No hay problema si no eres experto en alguna de estas tecnologías. (¡Definitivamente yo mismo no lo soy!). Voy a hacer todo lo posible para explicar cómo estas piezas encajan. Una desventaja del uso de tantas tecnologías variadas es que no podré explicar todo en detalle, pero intentaré vincularlas con recursos educativos en la medida de lo posible.

Descargar el proyecto

No intentaré recrear este proyecto paso a paso. Por ello, sugiero que obtengas el código fuente en Github y sigas mis explicaciones a medida que cuente lo que sucede.
Nota: Tendrás que descargar e importar el paquete de recursos de Unity de ML-Agents para que Tensorflow pueda usarse en C#. Si observas errores relacionados con TensorFlow que no se encuentren en Unity, asegúrate de seguir los documentos de configuración de Unity para TensorflowSharp.

¿Cuál es nuestro objetivo?

A los efectos de aportar simplicidad, el resultado que buscaremos en este proyecto será increíblemente simple. Queremos resolver lo siguiente: si el lanzador se encuentra a una distancia X del aro, se lanzará la pelota con una fuerza Y. ¡Eso es todo! No intentaremos apuntar ni hacer otras cosas sofisticadas con ella. Solo intentaremos deducir cuán difícil es arrojar la pelota para hacer el lanzamiento.
Si estás interesado en aprender a hacer sistemas de IA más complejos en Unity, debes consultar el proyecto mucho más completo de ML-Agents de Unity. Los métodos que analizaré aquí están diseñados para ser simples y accesibles, y no necesariamente representan prácticas recomendadas (¡yo también estoy aprendiendo!).
Mi conocimiento limitado en materia de TensorFlow, aprendizaje automático y matemática es básico. No tomes lo expuesto como algo incuestionable y ten en cuenta que el objetivo de todo esto es divertirse.

El aro y la pelota

Ya discutimos la esencia de nuestro propósito: lanzar al aro. Para lanzar una pelota al aro, necesitas un aro y... una pelota. Aquí es donde Unity se suma a la ecuación.
Si no conoces Unity, solo necesitarás saber que es un motor de juegos que te permite crear juegos en 2D y 3D para todas las plataformas. Cuenta con física, modelado básico de 3D y un fabuloso tiempo de ejecución de secuencias de comandos (Mono) que permite escribir nuestro juego en C#.
No soy un artista, pero moví algunos bloques y armé esta escena.


El bloque rojo es obviamente nuestro jugador. Los aros se configuraron con desencadenadores invisibles que nos permiten detectar el momento en que un objeto (la pelota) atraviesa el aro.


En el editor de Unity podrás ver los desencadenadores invisibles resaltados en verde. Notarás que hay dos desencadenadores. Esto es para que podamos asegurarnos de solo contar tantos cuando la pelota pase por completo de arriba abajo.
Al ver el método OnTriggerEnter en /Assets/BallController.cs (la secuencia de comandos que tendrá cada instancia de nuestro baloncesto), podrás observar el uso conjunto de estos dos desencadenadores.

Esta función hace algunas cosas. En primer lugar, controla que se activen el desencadenador superior y el inferior, luego cambia el material de la pelota para que podamos ver que la pelota se encestó y, finalmente, aparta las dos variables claves que nos importan: distance y force.y.

Realizar lanzamientos

Abre /Assets/BallSpawnerController.cs. Esta es una secuencia de comandos que se encuentra en nuestro lanzador y hace el trabajo de reproducir pelotas e intentar encestar. Observa este fragmento cerca del final del método DoShoot().

Este código crea una instancia nueva de una pelota, luego establece la fuerza con la que se realizará el lanzamiento y la distancia del objetivo (para que puedas apartar esto más fácilmente luego, como se mostró en el último fragmento).
Si aún tienes /Assets/BallController.cs abierto, puedes ver nuestro método Start(). Este código se invoca cuando se crea un nuevo baloncesto.

En otras palabras, creamos una pelota nueva, le damos fuerza y luego la destruimos automáticamente después de 30 segundos porque habrá muchas y nos convendrá mantener la razonabilidad.
Intentemos ejecutar todo esto y veamos cómo funciona el disparador estelar. Puedes presionar el botón ▶️ (Play) en el editor de Unity y veremos…


Nuestro jugador, cariñosamente apodado “Red”, está casi listo para competir contra Steph Curry.
Entonces ¿por qué es Red tan mal lanzador? La respuesta está en una línea de Assets/BallController.cs que dice float force = 0.2f. En esta línea, se establece de manera tajante que cada disparo debe ser exactamente igual. Observarás que Unity toma esto de manera muy literal. El mismo objeto, con las mismas fuerzas, duplicado una y otra vez siempre rebotará exactamente de la misma manera. Genial.
Esto, por supuesto, no es lo que deseamos. Nunca aprenderemos a disparar como Lebron si no probamos nada nuevo, así que agreguemos a esto un poco de acción.

Aleatorizar disparos, recopilar datos

Podemos introducir ruido aleatorio cambiando simplemente la fuerza de modo que sea aleatoria.

Esto combina nuestros tiros para que podamos finalmente experimentar el momento en que la bola atraviesa el aro, incluso si lleva un rato acertar.


Red es muy tonto; encestará de tanto en tanto, pero será exclusivamente cuestión de suerte. Esto, de todos modos, está bien. En este punto, cualquier tiro es un punto de datos que podemos usar. Llegaremos a eso en un momento.
Mientras tanto, no queremos realizar lanzamientos desde un solo lugar. Queremos que Red realice lanzamientos con éxito (cuando tenga suficiente suerte) desde cualquier distancia. En Assets/BallSpawnController.cs, busca estas líneas y elimina los comentarios de MoveToRandomDistance().

Si ejecutamos esto, veremos a Red saltando con entusiasmo por la cancha después de cada disparo.


Esta combinación de movimientos y fuerzas aleatorios genera algo fabuloso: datos. Si miras la consola en Unity, verás datos que se apartan de cada disparo ante cada intento exitoso.


Con cada disparo exitoso se apartan el # de los lanzamientos exitosos hasta el momento, la distancia del aro y la fuerza que se requiere para realizar el lanzamiento. Aunque esto es bastante lento, debemos aumentarlo. Regresa al punto en el que agregamos la llamada MoveToRandomDistance() y cambia 0.3f (retardo de 300 milisegundos por lanzamiento) a 0.05f (retardo de 50 milisegundos).

Ahora presiona el botón de reproducción y mira la lluvia de lanzamientos exitosos.


¡Ese sí que es un buen ritmo de preparación! Se puede ver en el marcador de atrás que aproximadamente el 6,4% de los lanzamientos se realizan con éxito. No es Steph Curry. Hablando de preparación, ¿estamos realmente aprendiendo algo de esto? ¿Dónde está TensorFlow? ¿Por qué es interesante esto? Bueno, ese es el siguiente paso. Ahora estamos preparados para extraer estos datos de Unity y crear un modelo para que permita predecir la fuerza necesaria.

Predicción, modelos y regresión

Verificar los datos en Hojas de cálculo de Google
Antes de abordar TensorFlow, quisiera ver los datos. Por ello, dejé que Unity se ejecutara hasta que Red encestara 50 lanzamientos. Si miras en el directorio raíz del proyecto de Unity, verás un archivo nuevo llamado successful_shots.csv. Se trata de un vaciado de memoria sin procesar, de Unity, ¡por cada lanzamiento exitoso! Hice que Unity exportara esto para poder analizarlo fácilmente en una hoja de cálculo.
El archivo .csv solo tiene tres filas: índice, distancia y fuerza. Importé este archivo en hojas de cálculo de Google y creé un Scatterplot con una línea de tendencia que nos permitirá tener una idea de la distribución de nuestros datos.


¡Oh! Mira eso. Mira eso. En serio, oh... Bien, lo admitiré, al principio tampoco yo estaba seguro de lo que esto significaba. Permíteme explicarte lo que estamos viendo.
En este gráfico se muestra una serie de puntos que se ubican a lo largo del eje Y, según la fuerza del lanzamiento, y del eje X, según la distancia desde la que se realizó el disparo. Lo que se ve es una clara correlación entre la fuerza que se requiere y la distancia desde la que se realiza el lanzamiento (con excepciones aleatorias que generaron rebotes extraños).
En la práctica, esto puede interpretarse como “TensorFlow será muy bueno en esto”.
Aunque este caso de uso es simple, una de las grandes ventajas de TensorFlow es que, si lo quisiéramos, podríamos crear un modelo más complejo usando un código similar. Por ejemplo, en un juego completo, podríamos incluir características como las posiciones de los otros juegos y estadísticas sobre la frecuencia con que se bloquearon los lanzamientos en el pasado para determinar si nuestro jugador debe hacer un lanzamiento o un pase.
Crear el TensorFlow.js de nuestro modelo
Abre el archivo tsjs/index.js en tu editor favorito. Este archivo no está relacionado con Unity y es solo una secuencia de comandos para preparar nuestro modelo según los datos de successful_shots.csv.
Este es el método completo que prepara y guarda nuestro modelo...

Como puedes ver, no es complicado. Cargamos nuestros datos del archivo .csv y creamos una serie de puntos X e Y (¡parece algo muy similar a la hoja de cálculo de Google anterior!). A partir de esto, se solicita al modelo que se “adecúe” a estos datos. Después de eso, se guarda nuestro modelo para usos futuros.
Lamentablemente, no se espera para TensorFlowSharp un modelo en el formato en el que Tensorflow.js pueda guardar elementos. Por lo tanto, debemos aplicar algunos toques mágicos de traducción para poder introducir nuestro modelo en Unity. He incluido algunas utilidades para ayudar en este proceso. En líneas generales, el proceso consiste en traducir el modelo del formato TensorFlow.js al Keras, lo cual nos permite marcar un punto de control que combinaremos con nuestra definición de gráfico de Protobuf para obtener una definición de gráfico de Frozen que podamos incluir en Unity.
Afortunadamente, si quieres seguir jugando puedes omitir todo eso y solo ejecutar tsjs/build.sh. Si todo sale bien, seguirá todos los pasos automáticamente e introducirá el modelo sin actualizar en Unity.
Dentro de Unity, se puede observar GetForceFromTensorFlow() en Assets/BallSpawnController.cs para la interacción con nuestro modelo.

Cuando realizas una definición de gráfico, defines un sistema complejo que tiene varios pasos. En nuestro caso, definimos nuestro modelo como una única capa densa (con una capa de entrada implícita). Esto significa que nuestro modelo toma una única entrada y nos da alguna salida.
Cuando uses model.predict en TensorFlow.js, este proporcionará automáticamente tu entrada al nodo del gráfico de entrada correcto y a ti te proporcionará la salida del nodo correcto una vez que se complete el cálculo. Sin embargo, TensorFlowSharp funciona de manera diferente y exige interactuar de forma directa con los nodos del gráfico a través de sus nombres.
Con eso en mente, es cuestión de incluir nuestros datos de entrada propios en el formato que nuestro gráfico espera y enviar la salida de regreso a Red.

¡Es día de juegos!

Usando el sistema anterior, creé algunas variaciones en nuestro modelo. Aquí está Red haciendo lanzamientos y usando un modelo preparado con solo 500 lanzamientos exitosos.


¡Se puede observar un aumento de casi 10 veces en el número de pelotas encestadas! ¿Qué sucede si preparamos a Red durante un par de horas y juntamos 10 o 100 mil lanzamientos exitosos? ¡Esto seguramente mejorará su juego aún más! Dejaré que eso corra por tu cuenta.
Te recomiendo mucho ver código fuente en Github y enviarme un tuit si puedes superar el índice de éxito del 60% (adelanto: superar el 60% es totalmente posible; regresa y mira el primer gif para ver cuán bien puedes preparar a Red).