La demanda de herramientas para simplificar y optimizar el desarrollo de **IA generativa** está aumentando rápidamente. Las aplicaciones basadas en la **generación aumentada por recuperación (RAG)** — una técnica para mejorar la precisión y confiabilidad de modelos de IA generativa con hechos obtenidos de fuentes externas especificadas — y los modelos personalizados están permitiendo a los desarrolladores ajustar los modelos de IA a sus necesidades específicas.

Mientras que en el pasado dicho trabajo podría haber requerido una configuración compleja, nuevas herramientas lo están haciendo más fácil que nunca.

NVIDIA AI Workbench simplifica los flujos de trabajo de los desarrolladores de IA al permitir a los usuarios crear sus propios proyectos de RAG, personalizar modelos y más. Es parte del **RTX AI Toolkit** — un conjunto de herramientas y kits de desarrollo de software para personalizar, optimizar y desplegar capacidades de IA — lanzado en COMPUTEX a principios de este mes. AI Workbench elimina la complejidad de tareas técnicas que pueden desviar a los expertos y frenar a los principiantes.

Qué es NVIDIA AI Workbench

Disponible de forma gratuita, NVIDIA AI Workbench permite a los usuarios desarrollar, experimentar, probar y prototipar aplicaciones de IA en sistemas con GPU de su elección — desde portátiles y estaciones de trabajo hasta centros de datos y la nube. Ofrece un nuevo enfoque para crear, usar y compartir entornos de desarrollo habilitados por GPU entre personas y sistemas.

Una simple **instalación** pone a los usuarios en funcionamiento con AI Workbench en una máquina local o remota en solo minutos. Luego, los usuarios pueden comenzar un nuevo proyecto o replicar uno de **los ejemplos en GitHub**. Todo funciona a través de GitHub o GitLab, por lo que los usuarios pueden colaborar y distribuir su trabajo fácilmente.

Cómo AI Workbench ayuda a abordar los desafíos de los proyectos de IA

Desarrollar cargas de trabajo de IA puede requerir procesos manuales, a menudo complejos, desde el principio.

Configurar las GPUs, actualizar controladores y gestionar incompatibilidades de versiones puede ser engorroso. Reproducir proyectos en diferentes sistemas puede requerir replicar procesos manuales una y otra vez. Las inconsistencias al replicar proyectos, como problemas con la fragmentación de datos y el control de versiones, pueden dificultar la colaboración. Los variados procesos de configuración, mover credenciales y secretos, y los cambios en el entorno, los datos, los modelos y las ubicaciones de los archivos pueden limitar la portabilidad de los proyectos.

AI Workbench facilita a los científicos de datos y desarrolladores gestionar su trabajo y colaborar a través de plataformas heterogéneas. Integra y automatiza diversos aspectos del proceso de desarrollo, ofreciendo:

• Facilidad de configuración: AI Workbench agiliza el proceso de configurar un entorno de desarrollador acelerado por GPU, incluso para usuarios con conocimientos técnicos limitados.
• Colaboración fluida: AI Workbench se integra con herramientas de control de versiones y gestión de proyectos como GitHub y GitLab, reduciendo la fricción al colaborar.
• Consistencia al escalar de local a la nube: AI Workbench asegura la consistencia en múltiples entornos, respaldando la escalabilidad desde estaciones de trabajo o PCs locales a centros de datos o la nube.

RAG para documentos, más fácil que nunca

NVIDIA ofrece proyectos de desarrollo de muestra **Workbench Projects** para ayudar a los usuarios a empezar con AI Workbench. El **proyecto Hybrid RAG Workbench** es un ejemplo: ejecuta una aplicación web personalizada basada en texto RAG con los documentos de un usuario en su estación de trabajo local, PC o sistema remoto.

Cada proyecto de Workbench se ejecuta en un «contenedor» — software que incluye todos los componentes necesarios para ejecutar la aplicación de IA. El ejemplo híbrido RAG empareja una interfaz de chat Gradio en la máquina host con un servidor RAG en contenedor — el backend que atiende la solicitud de un usuario y enruta consultas hacia y desde la base de datos vectorial y el modelo de lenguaje grande seleccionado.

Este proyecto de Workbench admite una amplia variedad de LLM **disponibles en la página de GitHub de NVIDIA**. Además, la naturaleza híbrida del proyecto permite a los usuarios seleccionar dónde ejecutar la inferencia.

Los desarrolladores pueden ejecutar el modelo de incrustación en la máquina host y realizar la inferencia localmente en un servidor de Hugging Face Text Generation Inference, en recursos en la nube de destino utilizando endpoints de inferencia de NVIDIA como el **catalogo de API de NVIDIA**, o con microservicios autohospedados como **NVIDIA NIM** o servicios de terceros.

El proyecto Hybrid RAG Workbench también incluye:

• Métricas de rendimiento: Los usuarios pueden evaluar el desempeño de las consultas de usuarios basadas en RAG y no RAG en cada modo de inferencia. Las métricas rastreadas incluyen el Tiempo de Recuperación, el Tiempo hasta el Primer Token (TTFT) y la Velocidad de Tokens.
• Transparencia en la recuperación: Un panel muestra los fragmentos exactos de texto — recuperados del contenido más contextualmente relevante en la base de datos vectorial — que se están alimentando al LLM, mejorando la relevancia de la respuesta a la consulta del usuario.
• Personalización de respuestas: Las respuestas pueden ser ajustadas con una variedad de parámetros, como el número máximo de tokens a generar, la temperatura y la penalización por frecuencia.

Para empezar con este proyecto, simplemente **instala AI Workbench** en un sistema local. El proyecto Hybrid RAG Workbench se puede traer desde GitHub a la cuenta del usuario y duplicar en el sistema local.

Hay más recursos disponibles en la **guía del usuario de AI Decoded**. Además, los miembros de la comunidad proporcionan útiles tutoriales en video, como el de Joe Freeman a continuación.

Personaliza, optimiza, despliega

Los desarrolladores a menudo buscan personalizar modelos de IA para casos de uso específicos. El afinamiento, una técnica que cambia el modelo al entrenarlo con datos adicionales, puede ser útil para la transferencia de estilo o el cambio de comportamiento del modelo. AI Workbench también ayuda con el afinamiento.

El **proyecto Llama-factory AI Workbench** permite QLoRa, un método de afinamiento que minimiza los requisitos de memoria, para una variedad de modelos, así como la cuantización del modelo a través de una interfaz gráfica simple. Los desarrolladores pueden usar conjuntos de datos públicos o sus propios conjuntos de datos para satisfacer las necesidades de sus aplicaciones.

Una vez completado el afinamiento, el modelo puede ser cuantizado para mejorar el rendimiento y reducir el consumo de memoria, y luego desplegado en aplicaciones nativas de Windows para inferencia local o en NVIDIA NIM para inferencia en la nube. Encuentra un tutorial completo para este proyecto en el **repositorio NVIDIA RTX AI Toolkit**.

Verdaderamente híbrido — ejecuta cargas de trabajo de IA en cualquier lugar

El proyecto Hybrid-RAG Workbench descrito anteriormente es híbrido en más de un sentido. Además de ofrecer una opción de modo de inferencia, el proyecto se puede ejecutar localmente en estaciones de trabajo NVIDIA RTX y PCs GeForce RTX, o escalarse a servidores en la nube remotos y centros de datos.

La capacidad de ejecutar proyectos en sistemas de elección del usuario — sin la sobrecarga de configurar la infraestructura — se extiende a todos los proyectos de Workbench. Encuentra más ejemplos e instrucciones para el afinamiento y la personalización en la **guía rápida de AI Workbench**.

La IA generativa está transformando los juegos, la videoconferencia y las experiencias interactivas de todo tipo. Comprende lo que es nuevo y lo que sigue suscribiéndote al boletín AI Decoded.