Amazon Web Services (AWS), la división del gigante tecnológico Amazon dedicada a la computación en la nube y la inteligencia artificial, lanzó un auto de carrera totalmente autónomo a escala 1/18 conducido por aprendizaje reforzado.
En las conferencias re:Invent, que se realizan esta semana en la ciudad estadounidense de Las Vegas, con la participación de 53 mil personas, entre ellas un enviado especial de iProUP, el CEO de AWS, Andy Jassy, explicó que el AWS DeepRacer es un auto de carreras totalmente autónomo, diseñado para que los clientes adopten el aprendizaje por refuerzo.
El aprendizaje por refuerzo es una de las tecnologías que se utilizan para hacer que los autos de auto-conducción se conviertan en una realidad, y Jassy promocionó el DeepRacer como la mejor manera de "participar" para aprender sobre el tema.
En lo que respecta al hardware y al software, DeepRacer cuenta con un procesador Intel Atom, una cámara de 4 megapíxeles con resolución de 1080p, Wi-Fi rápido, múltiples puertos USB y aproximadamente dos horas de duración de la batería.
En un comunicado, AWS explicó que el procesador Atom ejecuta Ubuntu 16.04 LTS (un sistema operativo de código abierto), y el kit de herramientas de visión de computadora Intel OpenVino.
El auto también incluye una cámara de 4 megapíxeles con resolución de 1080p, Wi-Fi 802.11ac, múltiples puertos USB y energía de la batería que durará aproximadamente dos horas.
AWS DeepRacer también incluye un entorno de nube totalmente configurado que se puede usar para entrenar modelos de aprendizaje de refuerzo, impulsado por la función de aprendizaje de refuerzo también recientemente anunciada en Amazon SageMaker. También tiene un entorno de simulación 3D impulsado por AWS RoboMaker.
El vehículo puede entrenar un modelo de conducción autónomo con una colección de pistas de carreras predefinidas que se incluyen con el simulador y luego evaluarlas virtualmente o descargarlas en un automóvil AWS DeepRacer y verificar el rendimiento en el mundo real.
AWS también lanzó una nueva liga deportiva, la AWS DeepRacer league, que se promociona como la primera liga de carreras autónomas del mundo. Habrá 20 carreras en 2019, que culminarán en la copa del campeonato que se llevará a cabo en re:Invent 2019.
Jassy también informó que hay una "versión acelerada" del campeonato en el re:Invent de este año. Esa competencia se desarrolló en el estadio Gran Arena del hotel MGM en Las Vegas. Las fotos y videos que ilustran esta nota fueron tomadas en ese certamen por el enviado especial de iProUP.
Para aquellos que no hayan logrado ganar uno en re: Invent de este año, el AWS DeepRacer se puede preordenar por 249 dólares en Amazon.com aquí. Después costará $ 399.
El anuncio se produjo después de que Jassy revelara Amazon SageMaker RL, cuyo objetivo es ofrecer nuevas capacidades de aprendizaje automático en Amazon SageMaker para construir, entrenar e implementar con aprendizaje reforzado. Se trata de "un aprendizaje reforzado para cada desarrollador y científico de datos", dijo Jassy.
Hace dos años, los investigadores de Alphabet, la matriz de Google, hicieron historia en la computación cuando su software de inteligencia artificial AlphaGo derrotó a un campeón mundial en el complejo juego de mesa Go.
Amazon ahora espera democratizar la técnica de inteligencia artificial detrás de ese hito, con este auto de escala 1/18.
El Deep Racer está diseñado para facilitar que los programadores comiencen con el aprendizaje por refuerzo, la técnica que impulsó la victoria de AlphaGo y está inspirada en la forma en que los animales aprenden de los comentarios sobre su comportamiento.
Aunque el enfoque ha producido acrobacias de investigación notables, como los bots que pueden jugar a Go, el ajedrez y los complicados juegos electrónicos multijugador, no se usan tan ampliamente como las técnicas de aprendizaje de combinación de patrones utilizadas en el reconocimiento de voz y el análisis de imágenes.
DeepRacer fue creado por Amazon, Amazon Web Services, que produce la mayoría de las ganancias de la compañía. Los programadores deben ayudarlo a aprenderlos, utilizando las nuevas herramientas de Amazon para apoyar los proyectos de aprendizaje de refuerzo.
La empresa espera que DeepRacer ayude a los programadores a tener una idea del aprendizaje de refuerzo y los aliente a aplicarlo a los problemas más importantes, generando nuevos negocios para la división de nube de Amazon.
El aprendizaje por refuerzo puede capacitar al software para que reaccione adecuadamente a las condiciones cambiantes. Es una buena opción para los escenarios industriales, como la optimización de las operaciones de los aerogeneradores en función de los cambios climáticos o las demandas de energía, o la priorización de la programación de buques y contenedores en los puertos.
Después de miles de vueltas en una pista virtual, las habilidades de conducción del auto pueden ser lo suficientemente buenas para navegar en el mundo real.
Los algoritmos de aprendizaje de refuerzo adquieren habilidades a través de repetidas pruebas y errores.
Se guían por los comentarios de una "función de recompensa" que proporciona un tipo de motivación simulada; por ejemplo, al indicar al software que debe intentar maximizar su puntaje o levantar objetos sin dejarlos caer.
A lo largo de muchos intentos de ganar un combate de sumo virtual o usar una pinza de robot, el software puede mejorar gradualmente para lograr el objetivo que se estableció.
Puede tomar millones de fallas para que un sistema de aprendizaje por refuerzo se vuelva competente, por lo que la mayoría de los proyectos que usan la tecnología dependen de las simulaciones para acelerar este proceso laborioso.
La versión mejorada de AlphaGo que Alphabet creó el año pasado, llamada AlphaZero, jugó 21 millones de juegos de Go contra sí mismo para dominar el juego más allá del nivel de cualquier humano.
Los programadores que desean jugar con DeepRacer de Amazon deben primero entrenar su código en un mundo virtual creado por Amazon para el proyecto, en el que un doble digital del automóvil puede conducir, y bloquearse, una y otra vez.
Amazon no es la única empresa de computación en la nube que trata de atraer a los codificadores con curiosidad por el aprendizaje por refuerzo.
Microsoft ha lanzado un entorno de simulación de código abierto para drones y automóviles llamado AirSim, que también se utiliza para experimentos de aprendizaje de refuerzo. Su división de nube, superada solo por los ingresos de Amazon, está promoviendo la tecnología a los clientes.
En la siguiente galería de fotos del enviado especial de iProUP se observan detalles del auto e instancias de la competencia en el estadio Gran Arena del hotel MGM.