El NVIDIA Agent Toolkit incluye las bibliotecas de NVIDIA Omniverse, lo que brinda a los agentes de IA herramientas para ayudar a los programadores de software a integrar capacidades de IA física en sus aplicaciones existentes
NVIDIA anunció esta semana en Siggraph el NVIDIA Agent Toolkit que incluye las bibliotecas de NVIDIA Omniverse, una colección de componentes de software que da a los agentes de IA las herramientas y habilidades necesarias para agregar capacidades de IA física a las aplicaciones existentes y preparar contenido 3D para la simulación.
Los robots, las fábricas y los sistemas autónomos deben diseñarse, probarse y entrenarse mediante simulación antes de que puedan funcionar en el mundo real. La preparación de contenido 3D para la simulación requiere más que imágenes realistas: los activos deben contar con la estructura, los materiales, la escala, las etiquetas, los sensores y las propiedades físicas adecuadas. Con las bibliotecas de NVIDIA Omniverse incluidas en NVIDIA Agent Toolkit, los agentes de IA cuentan con las herramientas y habilidades necesarias para crear flujos de trabajo, inspeccionar escenas, identificar problemas y preparar activos, lo que ayuda a los programadores a pasar más rápidamente del contenido 3D a entornos listos para la simulación.
Empresas de software como SideFX y PTC están integrando las bibliotecas de Omniverse para la simulación de sensores, física y la validación de activos preparados para agentes, lo que contribuye a incorporar la IA basada en agentes a las aplicaciones y los flujos de trabajo que los desarrolladores y artistas técnicos ya utilizan para preparar contenido 3D.
Las bibliotecas de Omniverse incorporan capacidades de IA física a NVIDIA Agent Toolkit
NVIDIA Agent Toolkit ayuda a los programadores de software a crear agentes de IA que conectan herramientas, capacidades y fuentes de datos. Las bibliotecas de Omniverse amplían esos agentes a flujos de trabajo de IA física y en 3D con herramientas invocables para la simulación de sensores, física acelerada por GPU y validación de activos listos para simulación dentro de las aplicaciones existentes.
Las nuevas bibliotecas de Omniverse — entre las que se incluyen ovrtx, ovphysx y las habilidades CAD-to-SimReady — están disponibles de forma abierta en GitHub, lo que brinda a los agentes de IA herramientas para crear flujos de trabajo destinados a inspeccionar escenas, probar cambios y preparar activos 3D para la simulación. También ya está disponible en GitHub un nuevo blueprint para integrar las bibliotecas de Omniverse en Blender.
Las capacidades de las bibliotecas incluyen:
- Simulación de sensores NVIDIA RTX: ovrtx ayuda a las aplicaciones a generar datos de cámaras, lidar, radar y otros sensores a partir de escenas 3D, para que los desarrolladores y los agentes de IA puedan probar cómo los sistemas de IA física pueden percibir los entornos virtuales.
- Comportamiento físico: ovphysx utiliza física acelerada por GPU para aportar un comportamiento realista a las escenas 3D mediante propiedades como colisiones, masa, fricción y movimiento, de modo que los equipos puedan probar primero cómo interactúan los objetos y los sistemas en la simulación.
- Objetos 3D listos para la simulación: las habilidades de CAD-to-SimReady ayudan a convertir datos de diseño asistido por computadora (CAD) en activos SimReady basados en OpenUSD, lo que le da al contenido 3D las propiedades necesarias para la simulación física de IA y las pruebas virtuales.
Los programadores de software crean con las bibliotecas de Omniverse
Las empresas de software como SideFX y PTC, así como las empresas emergentes ForgeCAD, Lightwheel, Moonlake AI y Palatial, se encuentran entre los primeros en adoptar y desarrollar con las bibliotecas de Omniverse, que ahora forman parte del NVIDIA Agent Toolkit.
SideFX está utilizando flujos de trabajo de OpenUSD, así como las bibliotecas ovrtx y ovphysx, para explorar cómo los agentes pueden ayudar a integrar las bibliotecas de Omniverse en sus flujos de trabajo de creación de contenido 3D procedural de Houdini, lo que brinda a los artistas técnicos una vía para generar, probar la física y preparar contenido para la simulación.
La plataforma CAD y de administración de datos de productos (PDM) Onshape de PTC, utiliza OpenUSD y ovrtx para conectar los flujos de trabajo de diseño nativos de la nube con la simulación física, lo que ayuda a que el contenido de diseño de productos se mantenga vinculado con los flujos de trabajo de CAD, PDM, colaboración y simulación.
En exhibición en SIGGRAPH, "SimReady" Blender es un flujo de trabajo de muestra creado en Blender con las bibliotecas de NVIDIA Omniverse y NVIDIA NemoClaw, que muestra cómo los desarrolladores de software pueden agregar capacidades de simulación preparadas para agentes —incluida la simulación de sensores NVIDIA RTX, la física y la validación— a las aplicaciones 3D existentes, sin que los creadores pierdan el control. Ahora está disponible de manera abierta como un blueprint para integrar las bibliotecas de Omniverse en Blender.
La demostración también ofrece un adelanto de cómo estos flujos de trabajo, creados con las bibliotecas de Omniverse como parte del NVIDIA Agent Toolkit, pueden ejecutarse localmente, desde sistemas compactos con tecnología RTX y NVIDIA RTX Spark hasta sistemas con NVIDIA GB300 y NVIDIA DGX Station. Los sistemas RTX Spark estarán disponibles este otoño a través de ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface y MSI, y posteriormente se sumarán modelos de Acer y GIGABYTE. Los sistemas DGX Station ya se pueden ordenar a través de ASUS, Dell, GIGABYTE, HP, MSI, Supermicro y Exxact.
Las startups, incluidas las que forman parte del programa NVIDIA Inception, también están utilizando las bibliotecas y habilidades de Omniverse para incorporar flujos de trabajo de preparación de activos y escenas asistidos por agentes. Palatial está utilizando las habilidades CAD-to-SimReady de Omniverse para automatizar la creación y validación de activos SimReady a gran escala a partir de datos de CAD. Lightwheel está utilizando los Content Agents de Omniverse, con tecnología OpenUSD, en su tecnología SimReadyGen para generar activos SimReady físicamente precisos a partir de indicaciones de texto.
ForgeCAD y Moonlake AI están explorando flujos de trabajo de contenido 3D impulsados por agentes que utilizan las capacidades de Omniverse para ayudar a generar, mejorar y preparar activos para la simulación física con IA.
"La era de la IA física se construirá primero en el ámbito de la simulación", afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. "NVIDIA Agent Toolkit, junto con las bibliotecas de Omniverse, integra los agentes de IA en las herramientas 3D que los desarrolladores ya utilizan, lo que ayuda a crear mundos listos para la simulación donde los robots, las fábricas y los sistemas autónomos se entrenan y prueban mucho antes de llegar al mundo real".
Fuente: NVIDIA
