NVIDIA ha anunciado la expansión de su plataforma Cosmos con el objetivo de ayudar a los desarrolladores a construir modelos del mundo real, fundamentales para que los sistemas de inteligencia artificial física comprendan y simulen el entorno que les rodea. Esta actualización incluye nuevas herramientas de entrenamiento, puntos de control de simulación y planos de la Cosmos Data Factory, lo que posiciona a la plataforma entre las cinco mejores en seis clasificaciones de modelos abiertos diferentes.
La creación de modelos del mundo comienza con datos multimodales y multisensoriales. La NVIDIA Cosmos Data Factory reúne herramientas y habilidades para etiquetar, curar, aumentar y evaluar datos a gran escala con el propósito de entrenar IA física. Una de las novedades es el Cosmos Curator, una solución acelerada por GPU para curar conjuntos de datos de entrenamiento de video, que ahora admite entradas y bloques de procesamiento multisensoriales y multimodales.
Cosmos Data Factory ofrece cinco planos nativos en la nube disponibles a través de GitHub, Microsoft Azure, Nebius y CoreWeave. Entre los planos se encuentran: Generación de Conjunto de Datos para Vehículos Autónomos, Aumento de Atributos de Imagen, Generación de Videos de Eventos, Generación de Imágenes de Defectos y Aumento de Datos de Video. Estos recursos permiten mejorar la cobertura de entrenamiento, variabilidad de apariencia de objetos, creación de videos sintéticos, generación de imágenes de defecto y alteración de condiciones climáticas en grabaciones existentes.
Empresas ya están utilizando estos recursos para acelerar sus flujos de trabajo de desarrollo de IA física. Porsche, por ejemplo, está desarrollando un sistema compartido de datos para vehículos autónomos en colaboración con Volkswagen Group, utilizando la Cosmos Data Factory para reducir hasta en un 90% la necesidad de pruebas físicas repetidas y acortar los ciclos de desarrollo en un 85%. Por su parte, ANYbotics ha generado más de 1,500 clips de video sintético con estos planos, entrenando a sus robots de inspección industrial para detectar derrames de líquidos y otros cambios en instalaciones.
El marco Cosmos Framework también ha sido extendido, ofreciendo herramientas de entrenamiento, optimización y despliegue para modelos abiertos, permitiendo una transición rápida de la experimentación al despliegue. Además, se facilita la adaptación de modelos abiertos mediante sintonización fina y aprendizaje por refuerzo, y mejoras en el rendimiento mediante destilación y cuantización.
En el ámbito del desarrollo de modelos especializados para manipulación egocéntrica, MicroAGI ha utilizado Cosmos 3 para post-entrenar videos de humanos manipulando objetos, logrando una reducción significativa en el tamaño del modelo sin perder precisión. Los desarrolladores también pueden utilizar Roboflow para etiquetar datos y entrenar Cosmos 3 para tareas específicas, desplegando estos modelos en entornos industriales.
NVIDIA continúa avanzando en la tecnología de base de los modelos Cosmos, introduciendo nuevas variantes que permiten a los desarrolladores probar políticas autónomas en escenarios complejos. Esto se complementa con la actualización de microservicios que ofrecen un rendimiento de inferencia hasta dos veces más rápido. Empresas como ADNOC ya están utilizando estas capacidades para mejorar la detección de peligros de seguridad en tiempo real.
La plataforma Cosmos es totalmente modular y abierta, permitiendo a los desarrolladores utilizar la Data Factory para generar datos de entrenamiento, el Framework para entrenar y adaptar modelos, y desplegar modelos Cosmos a través de microservicios NIM, optimizando el desarrollo de IA física en diversos sectores.
Fuente: Zona de blogs y prensa de Nvidia
