Si utilizas habitualmente una Inteligencia Artificial para analizar textos, estudiar, crear contenido o para cualquier otro fin a través de una única conversación, llega un momento en el que la IA empieza a perder el hilo, a ignorar determinada información que le hemos facilitado o que nos ha respondido previamente.
Lo primero que nos puede venir a la cabeza es que se trata de un problema con la IA o simplemente de un fallo aleatorio, pero no es así. Para sacarle el máximo a una Inteligencia Artificial, ya sea ChatGPT, Gemini, Claude o cualquier otra, especialmente para peticiones que nos llegan mucho tiempo hasta dar con el objetivo que estamos buscando, es necesario entender cómo funciona su mente que se basa en tres pilares:
Tokens
Ventana de contexto
Mecanismos de memoria
Token: la moneda que utiliza la IA
Una IA no lee palabras completas como nosotros, ni caracteres individuales. Lee tokens. Un token es la unidad básica de procesamiento textual de un LLM (Modelo de Lenguaje Grande). Puede ser una palabra entera, una sílaba o, en idiomas como el español (donde hay más flexión de género y número), fragmentos de palabras. Para el español, podemos utilizar la siguiente tabla de equivalencias
1 token equivale a unos 4 caracteres
100 palabras equivalen a unos 130/140 caracteres
Cada vez que escribes un prompt, la IA fragmenta tu texto en tokens para poder calcular estadísticamente qué tokens deberían ir después (su respuesta). El problema es que procesar cada uno de estos fragmentos cuesta potencia de cálculo (cómputo) y memoria RAM en los servidores. Por este motivo, todo modelo tiene un límite de cuántos puede manejar a la vez.
Un token no equivale a una palabra, sino a una parte de su contenido – Imagen: HardZone
Ventana de contexto: la cantidad de datos que es capaz de procesar
Para entender fácilmente qué es la ventana de contexto de una IA, debemos imaginarnos una mesa de trabajo. Es la cantidad máxima de tokens que el modelo puede «tener en mente» en un único instante al generar su siguiente respuesta, es decir, toda la información que puede tener sobre la mesa de trabajo de forma ordenada.
Es importante señalar que tanto los prompts como las respuestas, consumen tokens. Conforme seguimos haciendo preguntas para obtener nuevas respuestas sobre un mismo tema, se van utilizando tokens.
[Mensaje Inicial] + [Respuesta 1] + [Tu feedback] + [Respuesta 2] + [Nuevo feedback] + [Respuesta 3] + … = Ventana de contexto
