Cómo la IA Genera una Respuesta

Para redactar mejores prompts, es útil tener un modelo mental básico de lo que sucede después de presionar enviar. No es necesario comprender las matemáticas detrás de los modelos de lenguaje, pero entender el proceso a nivel conceptual explica por qué los prompts funcionan de la manera en que lo hacen y por qué los resultados pueden variar de formas que parecen impredecibles.

Del input al output: qué sucede realmente

Cuando envías un prompt, el modelo no busca una respuesta en una base de datos. No recupera una respuesta preescrita. Genera una respuesta — token por token — prediciendo qué debería venir a continuación, considerando todo lo que hay en la entrada.

El proceso funciona aproximadamente así:

1. Tu prompt se divide en tokens — pequeñas unidades de texto (aproximadamente palabras o partes de palabras);
2. El modelo procesa estos tokens a través de miles de millones de parámetros aprendidos para construir una representación del significado e intención;
3. Luego genera la salida un token a la vez, con cada nuevo token influenciado por todo lo que vino antes;
4. Esto continúa hasta que el modelo alcanza un punto de detención natural o llega al límite de salida.

El resultado no se recupera — se construye, palabra por palabra, basado en patrones aprendidos durante el entrenamiento.

Por qué el mismo prompt puede dar respuestas diferentes

Si envías exactamente el mismo prompt dos veces, puedes obtener dos respuestas diferentes. Esto no es un error, sino el resultado de un parámetro llamado temperatura, que controla cuánta aleatoriedad se introduce en el proceso de selección de tokens.

• Temperatura baja: el modelo elige de manera consistente el siguiente token más probable. Las salidas son más predecibles y repetitivas;
• Temperatura alta: el modelo ocasionalmente elige tokens menos probables. Las salidas son más variadas y creativas, pero menos consistentes.

La mayoría de las herramientas de IA ajustan la temperatura automáticamente y no exponen esta opción a los usuarios. Lo importante en la práctica es saber que la variación es esperada y normal, especialmente para tareas creativas o abiertas.

Para tareas que requieren consistencia (resúmenes estándar, informes estructurados, comunicaciones con plantillas), esto es una razón para ser más explícito en tu prompt sobre el formato y el resultado esperado.

A qué no tiene acceso el modelo

Comprender lo que el modelo no puede ver es tan importante como comprender cómo genera:

• No puede acceder a internet por defecto: a menos que la herramienta ofrezca específicamente la búsqueda web como función;
• Tiene una fecha de corte de conocimiento: los eventos posteriores al entrenamiento son desconocidos para el modelo a menos que se proporcionen en el prompt;
• No tiene memoria entre sesiones: cada nueva conversación comienza desde cero;
• No puede ver tus archivos, pantallas o sistemas: a menos que pegues explícitamente el contenido en el prompt.

Cada una de estas limitaciones es algo que puedes compensar en tu prompt, proporcionando la información que al modelo le faltaría de otro modo. Esto es exactamente para lo que sirve el contexto en un prompt.