Nota del editor: Esta publicación es parte de la serie AI Decoded, que desmitifica la inteligencia artificial haciéndola más accesible, y presenta nuevo hardware, software, herramientas y aceleraciones para usuarios de RTX en PC.

La inteligencia artificial ha cambiado la computación para siempre. Últimamente se ha hecho énfasis en la IA generativa, pero las herramientas aceleradas por IA y potenciadas por NVIDIA RTX también han sido clave en la mejora de los videojuegos, la creación de contenido y la productividad a lo largo de los años.

La NVIDIA Broadcast app es un ejemplo, utilizando núcleos Tensor en una GPU RTX local para mejorar de manera impecable la calidad de audio y video. Junto con el codificador de NVIDIA (NVENC) integrado en las GPUs GeForce RTX y NVIDIA RTX, la aplicación hace que sea fácil iniciarse como transmisor en vivo o lucir profesional durante llamadas de videoconferencia.

El sueño de transmitir

La transmisión en vivo de alta calidad tradicionalmente requería hardware costoso. Muchos transmisores en vivo confiaban en la codificación de software de la CPU utilizando la biblioteca de software x264, lo que a menudo afectaba la calidad del juego. Esto llevó a muchos a utilizar una configuración de dos PC, con una centrada en los videojuegos y el contenido y la otra en la codificación de la transmisión. Era complicado de ensamblar, difícil de solucionar problemas y a menudo costaba demasiado para transmisores emergentes.

NVENC está aquí para ayudar. Es un codificador de video de hardware dedicado en las GPUs de NVIDIA que procesa la codificación, liberando el resto del sistema para centrarse en el rendimiento del juego y el contenido. Aplicaciones líderes en la industria como Open Broadcaster Software (OBS) están añadiendo soporte para NVENC, allanando el camino para una nueva generación de transmisores en plataformas populares como Twitch y YouTube.

Mientras tanto, NVIDIA Maxine ayuda a resolver el problema del equipo costoso. Incluye características gratuitas impulsadas por IA como pantallas verdes virtuales y seguimiento de realidad aumentada basado en cámara web que eliminan la necesidad de equipos especiales como pantallas verdes físicas o trajes de captura de movimiento. Los transmisores experimentaron la tecnología por primera vez en TwitchCon 2019, donde probaron OBS en vivo en el piso de la expo con una pantalla verde acelerada por IA en una GPU GeForce RTX 2080.

Los efectos impulsados por IA de Maxine debutaron para usuarios de RTX en la beta de RTX Voice y se trasladaron a la NVIDIA Broadcast app.

Ahora en pantalla: NVIDIA Broadcast

NVIDIA Broadcast ofrece funciones impulsadas por IA que mejoran la calidad de audio y video para una variedad de usos. Es fácil de usar, funciona en cualquier aplicación y es muy sencillo de configurar.

Incluye:

• Eliminación de ruido y eco acústico: La IA elimina el ruido de fondo no deseado tanto del micrófono como del audio entrante con solo tocar un botón.
• Fondos virtuales: Las funciones de eliminación, reemplazo y desenfoque de fondo ayudan a personalizar los fondos sin necesidad de equipos costosos o configuraciones de iluminación complejas.
• Contacto visual: La IA ayuda a que parezca que el transmisor está mirando directamente a la cámara, incluso cuando está mirando fuera de la cámara o tomando notas.
• Auto Frame: Rastrea dinámicamente los movimientos en tiempo real, recortando y ampliando automáticamente objetos en movimiento independientemente de su posición.
• Vignette: La IA aplica un efecto de oscurecimiento a las esquinas de las imágenes de la cámara, proporcionando contraste visual para atraer la atención al centro del video y añadiendo un toque estilístico.
• Eliminación de ruido de video: Elimina el ruido visual en situaciones de baja iluminación para una imagen más clara.

NVIDIA Broadcast funciona creando una cámara, micrófono o altavoz virtual en Windows para que los usuarios puedan configurar sus dispositivos una vez y usarlos en cualquier aplicación de transmisión, videoconferencia o chat de voz, incluidas Discord, Google Meet, Microsoft Teams, OBS Studio, Slack, Webex y Zoom.

Quienes tengan una GPU NVIDIA GeForce RTX, TITAN RTX, NVIDIA RTX o Quadro RTX pueden usar los núcleos Tensor dedicados de su GPU para ayudar a que las redes de IA de la aplicación funcionen en tiempo real.

La misma tecnología impulsada por IA en NVIDIA Broadcast también está disponible para desarrolladores de aplicaciones como un kit de desarrollo de software. La empresa de tecnología audiovisual Elgato incluye la tecnología de eliminación de ruido de audio impulsada por IA de Maxine en su software Wave Link, mientras que VTube Studio — una aplicación popular para conectar un modelo 3D a una cámara web para transmitir como un personaje animado — ofrece un plug-in de rastreador de modelo acelerado por RTX como descarga gratuita. El desarrollador independiente Xaymar utiliza NVIDIA Maxine en su plug-in VoiceFX.

Los creadores de contenido pueden utilizar este plug-in o el filtro de estudio virtual (VST) de Elgato para limpiar ruido y eco de grabaciones en postproducción en suites de edición de video como Adobe Premiere Pro o en estaciones de audio digital como Ableton Live y Adobe Audition.

(No) escuchar es creer

Desde su lanzamiento, NVIDIA Broadcast ha sido utilizado por millones.

“He utilizado principalmente la eliminación de ruido de video y el reemplazo de fondo,” dijo Mr_Vudoo, una personalidad y transmisor de Twitch. “La función de contacto visual fue muy interesante y, sinceramente, me sorprendió lo bien que funcionaba.”

Unmesh Dinda, anfitrión del canal de YouTube PiXimperfect, demostró las características de cancelación de ruido y eliminación de eco de IA de NVIDIA Broadcast en un escenario extremo. Colocó un ventilador eléctrico aspirando directamente su micrófono y se puso un casco que fue martillado intensamente. Incluso con estos ruidos fuertes de fondo, Dinda pudo ser escuchado con claridad cristalina con la función de eliminación de ruido de Broadcast encendida. El video ha acumulado más de 12 millones de vistas.

NVIDIA Broadcast también es una herramienta útil para la creciente fuerza laboral remota. En un artículo, Avram Piltch, editor en jefe de Tom’s Hardware, detalló su prueba de las características de reducción de ruido de la aplicación contra ruidosos acondicionadores de aire, vecinos cortando el césped e incluso un niño haciendo berrinches con un robot. Los filtros de audio de IA de Broadcast ganaron en todo momento:

“Hice que mi hijo de ocho años fingiera hacer un berrinche justo detrás de mí y, una vez que habilité la eliminación de ruido, cada queja de ‘no me voy a acostar’ se silenció (al menos en la grabación),” dijo Piltch. “Para doblar el desafío, le pedimos que hiciera un berrinche mientras llevaba un coche robot con orugas zumbando. Una vez más, NVIDIA Broadcast eliminó todo el sonido no deseado.”

Incluso situaciones cotidianas como llamadas de video con un profesional médico se benefician de la eliminación de fondo impulsada por IA de NVIDIA Broadcast.

Hoy estuve en videollamada con mi doctora y me elogió por el buen desenfoque de fondo en mi cámara web.

Me tomó tan desprevenido que no supe cómo responder, así que simplemente le di un tutorial paso a paso sobre cómo usar NVIDIA Broadcast 😩

— Prismatic Ash (@_Ashdown)

Descarga NVIDIA Broadcast gratis en cualquier escritorio o portátil con tecnología RTX.

La IA generativa está transformando los videojuegos, las videoconferencias y las experiencias interactivas de todo tipo. Aclara lo que es nuevo y lo que viene suscribiéndote al AI Decoded newsletter.