Las nuevas bibliotecas de 3D Gaussian Splatting de NVIDIA Omniverse NuRec permiten la reconstrucción del mundo a gran escala
NVIDIA anuncia en SIGGRAPH nuevas bibliotecas de Omniverse y los World foundation models (WFM) de Cosmos que aceleran el desarrollo y la implementación de soluciones de robótica.
Impulsados por los nuevos servidores NVIDIA RTX PRO y DGX Cloud, las bibliotecas y modelos permiten a desarrolladores crear gemelos digitales físicamente precisos, capturar y reconstruir el mundo real en la simulación, generar datos sintéticos para entrenar modelos de IA físicos y producir agentes de IA que entienden el mundo físico.
Nuevas bibliotecas de NVIDIA Omniverse impulsan aplicaciones para la composición del mundo
Los nuevos kits de desarrollo de software (SDK) y bibliotecas NVIDIA Omniverse ya están disponibles para crear e implementar aplicaciones de simulación de robótica e inteligencia artificial industrial .
- Los nuevos SDK de Omniverse introducen interoperabilidad de datos entre MuJoCo (MJCF) y Universal Scene Description (OpenUSD) , lo que permite que más de 250 000 desarrolladores de aprendizaje de robots MJCF simulen robots en todas las plataformas.
- Las nuevas bibliotecas Omniverse NuRec y los modelos de IA introducen el Splatting Gaussiano 3D trazado por rayos de Omniverse RTX, una técnica de renderizado que permite a los desarrolladores capturar, reconstruir y simular el mundo real en 3D utilizando datos de sensores.
- Los frameworks de simulación y aprendizaje de los robots de código abierto NVIDIA Isaac Sim 5.0 y NVIDIA Isaac Lab 2.2 ya están disponibles en GitHub. Isaac Sim incluye el renderizado neural de NuRec, además de nuevos esquemas de robots y sensores basados en OpenUSD que ayudan a los desarrolladores de robots a cerrar la brecha entre la simulación y la realidad.
El renderizado de Omniverse NuRec ya está integrada en CARLA, un simulador de código abierto líder utilizado por más de 150,000 programadores. Foretellix, líder en la cadena de herramientas para vehículos autónomos (VA) , integra NuRec, NVIDIA Omniverse Sensor RTX y Cosmos Transfer para optimizar la generación de datos sintéticos con escenarios físicamente precisos. FiftyOne, el motor de datos de Voxel51 para IA visual y multimodal, es compatible con NuRec para facilitar la preparación de datos para las reconstrucciones. Clientes como Ford y Porsche utilizan FiftyOne.
Boston Dynamics, Figure AI, Hexagon , RAI Institute, Lightwheel y Skild AI están adoptando las bibliotecas Omniverse, Isaac Sim e Isaac Lab para acelerar su desarrollo de robótica de IA, mientras que Amazon Devices & Services las está utilizando para impulsar una nueva solución de fabricación.
Cosmos avanza en la generación del mundo para robótica
Los WFM de Cosmos, que se han descargado más de 2 millones de veces, permiten a los programadores generar diversos datos para entrenar robots a escala utilizando indicaciones de texto, imágenes y video.
Los nuevos modelos anunciados en SIGGRAPH ofrecen importantes avances en velocidad de generación de datos sintéticos, precisión, soporte de lenguaje y control:
- Cosmos Transfer-2 simplifica en las entradas y acelera la generación de datos sintéticos fotorrealistas a partir de escenas de simulación 3D de referencia o entradas de control espacial, como profundidad, segmentación, bordes y mapas de alta definición.
- Una versión destilada de Cosmos Transfer reduce el proceso de destilación de 70 pasos a 1, para que los desarrolladores puedan ejecutar el modelo en los servidores NVIDIA RTX PRO.
Lightwheel, Moon Surgical y Skild AI están utilizando Cosmos Transfer para acelerar el entrenamiento físico de IA a través de la simulación de diversas condiciones a escala.
Cosmos Reason avanza en la comprensión del mundo
Desde la introducción del modelo CLIP de OpenAI, los modelos de lenguaje de visión (VLM) han transformado las tareas de visión por computadora, como el reconocimiento de objetos y patrones. Sin embargo, aún no han podido resolver tareas de múltiples pasos ni manejar ambigüedades o experiencias novedosas.
Cosmos Reason, un nuevo modelo de lenguaje de visión de razonamiento abierto y personalizable para IA física y robótica permite a los robots y agentes de IA de visión razonar como los humanos. Para hacerlo, utiliza conocimiento previo, comprensión de la física y sentido común, mediante lo cual puede comprender y actuar en el mundo real.
Cosmos Reason se puede utilizar para aplicaciones de robótica y física de IA, que incluyen:
- Curación y anotación de datos, lo que permite a los programadores automatizar la curación y anotación de alta calidad de conjuntos de datos de entrenamiento masivos y diversos.
- Planeación y razonamiento robóticos, que actúan como el cerebro para la toma de decisiones deliberada y metódica en un modelo robótico de visión, lenguaje y acción (VLA) . Cosmos Reason permite a los robots interpretar entornos y, dadas órdenes complejas, descomponerlas en tareas y ejecutarlas con sentido común, incluso en entornos desconocidos.
- Agentes de IA de análisis de video desarrollados en NVIDIA Blueprint para la búsqueda y resumen de videos que pueden extraer información valiosa y realizar análisis de causa raíz en volúmenes masivos de datos de video.
NVIDIA Robotics y NVIDIA DRIVE se apoyan en Cosmos Reason para la selección y filtro de datos, anotación y pos entrenamiento de VLA. Uber lo está utilizando para anotar y subtitular datos de entrenamiento de vehículos autónomos.
Magna está desarrollando Cosmos Reason como parte de su plataforma City Delivery —una solución autónoma y económica para entregas instantáneas— para ayudar a los vehículos a adaptarse más rápidamente a las nuevas ciudades. Cosmos Reason incorpora comprensión global al planeador de trayectorias a largo plazo de los vehículos. VAST Data , Milestone Systems y Linker Vision están adoptando Cosmos Reason para automatizar la monitorización del tráfico, mejorar la seguridad y optimizar la inspección visual en ciudades y entornos industriales.
La nueva infraestructura de IA de NVIDIA impulsa cargas de trabajo de robótica en cualquier lugar
Para permitir que los desarrolladores aprovechen al máximo estas tecnologías avanzadas y bibliotecas de software, NVIDIA anunció una infraestructura de IA diseñada para las cargas de trabajo más exigentes.
- Los servidores NVIDIA RTX PRO Blackwell ofrecen una arquitectura única para cada carga de trabajo de desarrollo de robots, como entrenamiento, generación de datos sintéticos, aprendizaje de robots y simulación.
- NVIDIA DGX Cloud, disponible en Microsoft Azure Marketplace, ofrece a los desarrolladores de Omniverse una plataforma administrada para simplificar la transmisión de aplicaciones basadas en OpenUSD y RTX a escala desde la nube, lo que minimiza la orquestación y administración de la infraestructura. Accenture y Hexagon se encuentran entre los primeros líderes de la industria en adoptar la plataforma.
Aceleración del ecosistema de programadores
Para ayudar a los desarrolladores de robótica e IA física a avanzar en la adopción de tecnología 3D y simulación, NVIDIA también anunció lo siguiente:
- Plan de estudios y certificación OpenUSD , que aborda la demanda de experiencia en USD, con el apoyo de los miembros de AOUSD : Adobe, Amazon Robotics, Ansys (parte de Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS y Trimble, así como líderes de la industria como Hexagon.
- Colaboración de código abierto con Lightwheel para integrar marcos de evaluación y entrenamiento de políticas de robots en NVIDIA Isaac Lab, que incluye capacidades de entrenamiento de aprendizaje de refuerzo paralelo, puntos de referencia y recursos listos para simulación para la manipulación y locomoción de robots
Fuente: NVIDIA
