Temperature

En inteligencia artificial (IA) y aprendizaje automático, la temperatura es un parámetro para ajustar la salida de los modelos de lenguaje grandes (LLM). La temperatura controla la aleatoriedad del texto generado por los LLM durante la inferencia. Los LLM generan texto al predecir la siguiente palabra (o más bien, el siguiente token) de acuerdo con una distribución de probabilidad. A cada token se le asigna un logit (valor numérico) del LLM y el conjunto total de tokens se normaliza en una "distribución de probabilidad softmax". A cada token se le asigna una "función softmax" que existe entre cero y uno, y la suma de las probabilidades softmax de todos los tokens es uno. El parámetro de temperatura del LLM modifica esta distribución.

Las temperaturas más altas dan lugar a resultados más creativos y diversos, lo que permite múltiples variaciones en la redacción y, en el caso de la ficción, también en las respuestas. Las temperaturas más bajas dan lugar a resultados más conservadores y deterministas que se ciñen a las formulaciones y respuestas más probables.