Al trabajar con prompts, estarás interactuando con el LLM directamente o a través de una API. Puedes configurar algunos parámetros para obtener resultados diferentes para tus prompts.
Temperatura - En resumen, cuanto menor sea la temperatura, más determinísticos son los resultados, en el sentido de que siempre se elige el siguiente token probable más alto. Aumentar la temperatura puede llevar a más aleatoriedad, incentivando salidas más diversificadas o creativas. Esencialmente, estamos aumentando los pesos de otros tokens posibles. En términos de aplicación, podríamos querer usar un valor de temperatura más bajo para tareas como control de calidad basado en hechos, fomentando respuestas más fácticas y concisas. Para la generación de poemas u otras tareas creativas, puede ser beneficioso aumentar el valor de la temperatura.
Top_p - De manera similar, con top_p, una técnica de muestreo con temperatura llamada muestreo de núcleo, puedes controlar el grado de determinismo del modelo al generar una respuesta. Si buscas respuestas precisas y fácticas, mantenlo bajo. Si buscas respuestas más diversificadas, aumenta a un valor más alto.
La recomendación general es cambiar uno, no ambos.
Antes de comenzar con algunos ejemplos básicos, recuerda que tus resultados pueden variar dependiendo de la versión del LLM que estés utilizando.