The pace of technology innovation has accelerated en el último año, especialmente en IA. No hay mejor lugar para formar parte de estos avances que en NVIDIA Research.

NVIDIA Research está compuesta por cientos de personas extremadamente brillantes que están ampliando las fronteras del conocimiento, no solo en IA, sino en muchas áreas de la tecnología. En el último año, NVIDIA Research sentó las bases para futuras mejoras en el rendimiento de las GPU con importantes descubrimientos en circuitos, arquitectura de memoria y aritmética dispersa. La invención de técnicas gráficas novedosas por parte del equipo continúa elevando el estándar para el renderizado en tiempo real. Además, se desarrollaron nuevos métodos para mejorar la eficiencia de la IA, requiriendo menos energía, utilizando menos ciclos de GPU y ofreciendo resultados aún mejores.

Los desarrollos más emocionantes han ocurrido en IA generativa. Ahora somos capaces de generar, no solo imágenes y texto, sino también modelos 3D, música y sonidos. También se está avanzando en un mejor control sobre lo que se genera: para crear movimientos humanoides realistas y secuencias de imágenes con sujetos consistentes.

La aplicación de la IA generativa en la ciencia ha resultado en pronósticos meteorológicos de alta resolución que son más precisos que los modelos numéricos convencionales. Los modelos de IA nos han proporcionado la capacidad de predecir con precisión cómo los niveles de glucosa en sangre responden a diferentes alimentos. La IA generativa encarnada se utiliza para desarrollar vehículos autónomos y robots.

Y eso fue solo este año. A continuación, se presenta un análisis más profundo sobre algunos de los trabajos más destacados de IA generativa de NVIDIA Research.

ConsiStory: Imágenes Generadas por IA con Energía de Personaje Principal

ConsiStory, una colaboración entre investigadores de NVIDIA y la Universidad de Tel Aviv, facilita la generación de múltiples imágenes con un personaje principal consistente, una capacidad esencial para casos de uso de narración, como ilustrar una tira cómica o desarrollar un storyboard.

El enfoque de los investigadores introdujo una técnica llamada atención compartida impulsada por el sujeto, que redujo el tiempo necesario para generar imágenes consistentes de 13 minutos a aproximadamente 30 segundos.

Edify 3D: La IA Generativa Entra en una Nueva Dimensión

NVIDIA Edify 3D es un modelo fundacional que permite a desarrolladores y creadores de contenido generar rápidamente objetos 3D que pueden utilizarse para prototipar ideas y poblar mundos virtuales.

Edify 3D ayuda a los creadores a idear, diseñar y conceptualizar entornos inmersivos con activos generados por IA. Los creadores de contenido, tanto novatos como experimentados, pueden usar indicaciones de texto e imágenes para aprovechar el modelo, que ahora forma parte de la arquitectura multimodal NVIDIA Edify para desarrollar IA generativa visual.

Fugatto: Máquina de Sonido AI Flexible para Música, Voces y Más

Un equipo de investigadores de NVIDIA presentó recientemente Fugatto, un modelo de IA generativa fundamental que puede crear o transformar cualquier mezcla de música, voces y sonidos basado en prompts de texto o audio.

El modelo puede, por ejemplo, crear fragmentos musicales basados en prompts de texto, agregar o eliminar instrumentos de canciones existentes, modificar el acento o la emoción en una grabación de voz, o generar sonidos completamente novedosos. Podría ser utilizado por productores musicales, agencias de publicidad, desarrolladores de videojuegos o creadores de herramientas de aprendizaje de idiomas.

GluFormer: IA Predice los Niveles de Azúcar en Sangre a Cuattro Años Vista

Investigadores del Instituto Weizmann de Ciencias, la startup Pheno.AI y NVIDIA lideraron el desarrollo de GluFormer, un modelo de IA que puede predecir los niveles futuros de glucosa de un individuo y otras métricas de salud basadas en datos de monitoreo de glucosa pasados.

Los investigadores demostraron que, al agregar datos de ingesta dietética en el modelo, GluFormer también puede predecir cómo los niveles de glucosa de una persona responderían a alimentos específicos y cambios dietéticos, lo que habilita la nutrición de precisión. El equipo de investigación validó GluFormer en 15 otros conjuntos de datos y encontró que generaliza bien para predecir resultados de salud en otros grupos, incluidos aquellos con prediabetes, diabetes tipo 1 y tipo 2, diabetes gestacional y obesidad.

LATTE3D: Habilitando Generación Casi Instantánea, de Texto a Forma 3D

Otro generador 3D lanzado por NVIDIA Research es LATTE3D, que convierte prompts de texto en representaciones 3D en un segundo, como una rápida impresora 3D virtual. Elaborado en un formato popular utilizado para aplicaciones de renderizado estándar, las formas generadas se pueden servir fácilmente en entornos virtuales para desarrollar videojuegos, campañas publicitarias, proyectos de diseño o terrenos de entrenamiento virtual para robótica.

MaskedMimic: Reconstruyendo Movimiento Realista para Robots Humanoides

Para avanzar en el desarrollo de robots humanoides, investigadores de NVIDIA introdujeron MaskedMimic, un marco de IA que aplica inpainting —el proceso de reconstruir datos completos a partir de una vista incompleta o enmascarada— a descripciones de movimiento.

Dada información parcial, como una descripción de texto de movimiento o datos de posición de cabeza y mano de un auricular de realidad virtual, MaskedMimic puede llenar los espacios en blanco para inferir el movimiento de todo el cuerpo. Se ha convertido en parte de NVIDIA Project GR00T, una iniciativa de investigación para acelerar el desarrollo de robots humanoides.

StormCast: Mejorando la Predicción Meteorológica, Simulación Climática

En el campo de la ciencia climática, NVIDIA Research anunció StormCast, un modelo de IA generativa para emular dinámicas atmosféricas. Mientras que otros modelos de aprendizaje automático entrenados con datos globales tienen una resolución espacial de alrededor de 30 kilómetros y una resolución temporal de seis horas, StormCast alcanza una escala de 3 kilómetros y horaria.

Los investigadores entrenaron StormCast con aproximadamente tres años y medio de datos climáticos de NOAA del centro de EE. UU. Al aplicarse con radares de precipitación, StormCast ofrece pronósticos con tiempos de anticipación de hasta seis horas que son hasta un 10% más precisos que el modelo de predicción meteorológica regional de 3 kilómetros de la administración meteorológica de EE. UU.

NVIDIA Research Establece Récords en IA, Vehículos Autónomos, Robótica

A lo largo de 2024, modelos que se originaron en NVIDIA Research establecieron récords en diversos benchmarks para entrenamiento e inferencia de IA, optimización de rutas, conducción autónoma y más.

NVIDIA cuOpt, un microservicio de IA de optimización utilizado para mejorar la logística, ha establecido 23 récords mundiales. La plataforma NVIDIA Blackwell demostró un rendimiento de clase mundial en benchmarks industriales de MLPerf para el entrenamiento e inferencia de IA.

En el campo de los vehículos autónomos, Hydra-MDP, un marco de conducción autónoma de extremo a extremo de NVIDIA Research, logró el primer lugar en la pista de Conducción de Extremo a Extremo del Autonomus Grand Challenge.

En robótica, FoundationPose, un modelo fundacional unificado para la estimación y seguimiento de la posición de objetos en 6D, obtuvo el primer lugar en el ranking BOP para la estimación de posición de objetos no vistos.

Descubre más sobre NVIDIA Research, que cuenta con cientos de científicos e ingenieros en todo el mundo. Los equipos de NVIDIA Research están enfocados en temas como IA, gráficos por computadora, visión por computadora, autos autónomos y robótica.