Acelerar el desarrollo de robots humanoides
TAIPEI, Taiwán—COMPUTEX—NVIDIA anunció NVIDIA Isaac GR00T N1.5, la primera actualización del modelo básico abierto, generalizado y personalizable para el razonamiento y las habilidades de los humanoides; NVIDIA Isaac GR00T-Dreams, un modelo para la generación de datos de movimiento sintético y los sistemas de NVIDIA Blackwell para acelerar el desarrollo de robots humanoides.
Las firmas de robótica y humanoides Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI y XPENG Robotics están adoptando las tecnologías de la plataforma NVIDIA Isaac para avanzar en el desarrollo y la implementación de robots humanoides.
El nuevo plan de generación de datos (Data Generation Blueprint ) Isaac GR00T
NVIDIA Isaac GR00T-Dreams, presentado en el keynote de Huang en COMPUTEX, es un plan que ayuda a generar grandes cantidades de datos de movimiento sintético, (también conocidos como trayectorias neuronales) que los programadores de IA física pueden usar para enseñar a los robots nuevos comportamientos, incluida la forma de adaptarse a entornos cambiantes.
Los programadores pueden entrenar los modelos fundacionales del mundo (World Foundation Models WFM de Cosmos Predict) para su robot. Luego, usando una sola imagen como entrada, GR00T-Dreams genera videos del robot que realiza nuevas tareas en nuevos entornos. Enseguida, el blueprint extrae tokens de acción (datos comprimidos y digeribles) que se utilizan para enseñar a los robots cómo realizar estas nuevas tareas.
El modelo de GR00T-Dreams complementa el de Isaac GR00T-Mimic blueprint, que se lanzó en la conferencia NVIDIA GTC en marzo. Si bien GR00T-Mimic usa las plataformas NVIDIA Omniverse y NVIDIA Cosmos para aumentar los datos existentes, GR00T-Dreams usa Cosmos para generar datos completamente nuevos.
Nuevos Modelos de Isaac GR00T avanzan en el desarrollo de Robots Humanoides
NVIDIA Research utilizó el modelo GR00T-Dreams para generar datos de entrenamiento sintético y desarrollar GR00T N1.5 (una actualización de GR00T N1), en solo 36 horas, en comparación con lo que habría tomado casi tres meses de recopilación manual de datos humanos.
El GR00T N1.5 puede adaptarse mejor a nuevos entornos y configuraciones de espacios de trabajo, así como reconocer objetos por medio de las instrucciones del usuario. Esta actualización mejora el indicador de éxito del modelo para tareas comunes de manejo de materiales y manufactura, como clasificar o guardar objetos.
Entre los primeros en adoptar los modelos GR00T N se encuentran AeiRobot, Foxlink, Lightwheel y NEURA Robotics.
- AeiRobot emplea los modelos para permitir que ALICE4 entienda las instrucciones de lenguaje natural y ejecute flujos de trabajo complejos de recoger y colocar en entornos industriales.
- Foxlink Group los está utilizando para mejorar la flexibilidad y la eficiencia de los manipuladores de robots industriales
- Lightwheel los aprovecha para validar datos sintéticos y agilizar para una implementación de robots humanoides más rápida en las fábricas.
- NEURA Robotics evalua los modelos para acelerar su desarrollo de sistemas de automatización doméstica.
Nuevos frameworks de simulación de robots y generación de datos aceleran los procesos de entrenamiento
El desarrollo de robots humanoides con alto nivel de destrezas requiere una cantidad masiva de datos diversos, lo cual es costoso de capturar y procesar. Los robots deben probarse en el mundo físico, lo que puede generar costos y riesgos.
Para ayudar a cerrar la brecha entre los datos y las pruebas, NVIDIA dio a conocer las siguientes tecnologías de simulación:
- NVIDIA Cosmos Reason, un nuevo WFM que utiliza el razonamiento en cadena para ayudar a seleccionar datos sintéticos precisos y de mayor calidad para el entrenamiento de modelos físicos de IA, ahora está disponible en Hugging Face.
- Cosmos Predict 2, utilizado en GR00T-Dreams, llegará pronto a Hugging Face, con mejoras de desempeño para la generación de mundos de alta calidad y reducción de alucinaciones.
- NVIDIA Isaac GR00T-Mimic, un blueprint para generar cantidades exponencialmente grandes de trayectorias de movimiento sintético para la manipulación de robots, utilizando solo unas pocas demostraciones humanas.
- Conjunto de Datos Abierto de IA Física, que ahora incluye 24,000 trayectorias de movimiento de robots humanoides de alta calidad utilizadas para desarrollar los modelos GR00T N.
- NVIDIA Isaac Sim 5.0, un framework de simulación y generación de datos sintéticos, pronto estará disponible abiertamente en GitHub.
- NVIDIA Isaac Lab 2.2, un marco de aprendizaje de robots de código abierto, que admitirá nuevos entornos de evaluación para ayudar a los desarrolladores a probar los modelos GR00T N.
Foxconn y Foxlink utiliza el blueprint GR00T-Mimic para la generación de manipulación de movimiento sintético a fin de acelerar sus pipelines de entrenamiento en robótica. Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics y XPENG Robotics hacen simulaciones y entrenando a sus robots humanoides con NVIDIA Isaac Sim e Isaac Lab. Skild AI usa los frameworks de simulación para desarrollar inteligencia de robots generales, y General Robotics los está integrando en su plataforma de inteligencia de robots.
Sistemas Blackwell Universales para programadores de Robots
Los fabricantes de sistemas de cómputo desarrollan estaciones de trabajo y servidores impulsados por el NVIDIA RTX PRO 6000, lo que proporciona una arquitectura única para ejecutar fácilmente cada carga de trabajo de desarrollo de robots, incluyendo entrenamiento, generación de datos sintéticos, aprendizaje robótico y simulación.
Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo y Supermicro anunciaron servidores impulsados por NVIDIA RTX PRO, y Dell Technologies, HPE y Lenovo anunciaron estaciones de trabajo impulsadas por NVIDIA RTX PRO 6000 Blackwell.
Cuando se requiere más computación para ejecutar cargas de trabajo de entrenamiento o generación de datos a gran escala, los programadores pueden aprovechar los sistemas NVIDIA Blackwell como GB200 NVL72, disponible con NVIDIA DGX Cloud a través de los principales proveedores de nube y Socios de NVIDIA Cloud, para lograr un desempeño hasta 18 veces mayor para el procesamiento de datos.
Los desarrolladores podrán implementar sus modelos fundacionales de robots en la plataforma NVIDIA Jetson Thor próximamente, lo que habilitará la inferencia acelerada y el desempeño en tiempo de ejecución en el robot.
Fuente: NVIDIA
