A medida que los modelos de inteligencia artificial (IA) continúan evolucionando y su adopción se expande, las empresas se enfrentan al desafío de equilibrar el valor que obtienen de estas tecnologías. Esto obedece a que la inferencia —el proceso de procesar datos a través de un modelo para obtener un resultado— presenta retos computacionales distintos en comparación con el entrenamiento de un modelo.

La preparación de un modelo, que implica la ingesta de datos y la identificación de patrones, representa casi un costo único. En cambio, cada consulta realizada a un modelo durante la inferencia genera nuevos tokens, lo que genera gastos adicionales. Con el creciente uso de modelos de IA, las empresas deben centrarse en maximizar la generación de tokens con la máxima velocidad y precisión, sin que los costos computacionales se disparen.

Reducción de Costos en Inferencia

Durante el último año, el ecosistema de IA ha hecho progresos significativos para hacer que la inferencia sea más accesible y eficiente. Según el Informe de IA 2025 del Instituto de IA Centrada en el Hombre de la Universidad de Stanford, "el costo de inferencia para un sistema que funciona al nivel de GPT-3.5 disminuyó más de 280 veces entre noviembre de 2022 y octubre de 2024". Además, los costos de hardware se han reducido un 30% anualmente, y la eficiencia energética ha mejorado un 40% cada año.

Es importante destacar que los modelos de peso abierto están disminuyendo la brecha de rendimiento con respecto a los modelos cerrados, haciendo que la diferencia se reduzca del 8% al 1.7% en algunos benchmarks en un solo año. Estas tendencias están abriendo las puertas a un uso más democrático de la inteligencia artificial.

A medida que la demanda de modelos de IA continúa en aumento, las empresas deben ajustar sus recursos computacionales acelerados para desarrollar nuevas herramientas de razonamiento en IA, de lo contrario, corren el riesgo de enfrentar costos y consumos energéticos más altos.

Términos Clave en la Economía de la Inferencia de IA

Comprender los términos esenciales de la economía de la inferencia es crucial para apreciar su relevancia.

Los tokens son la unidad básica de datos en un modelo de IA. Derivados de distintos tipos de datos durante la fase de entrenamiento, como texto o imágenes, los tokens facilitan el aprendizaje de relaciones dentro del modelo, permitiendo outputs relevantes durante la inferencia.

El throughput indica la cantidad de datos, medidos en tokens, que un modelo puede producir en un tiempo determinado. A mayor throughput, mejor rendimiento del modelo. Por otro lado, la latencia mide el tiempo entre la entrada de un prompt y el inicio de la respuesta del modelo. Reducir la latencia es esencial para ofrecer respuestas rápidas y eficientes.

Para tener una visión más completa, los líderes de TI están comenzando a medir el goodput, que evalúa el throughput logrado mientras se mantienen los tiempos objetivos para el primer token y la generación de tokens adicionales. Esto permite una evaluación más holística de la eficiencia operativa.

La eficiencia energética se refiere a qué tan efectivamente un sistema de IA convierte la energía consumida en resultados computacionales, expresada como rendimiento por vatio. La utilización de plataformas de computación acelerada maximiza la producción de tokens por vatio, minimizando el consumo energético.

Con los avances en tecnologias de la IA, las empresas deben adoptar un enfoque integral que aborde tanto el hardware como el software, garantizando que sus recursos se alineen con sus necesidades de inferencia y rendimiento operativo.