puedo tener una conversacion que supera el numero de tokens de una ia
- User
puedo tener una conversacion que supera el numero de tokens de una ia
- Assistant
Depende del modelo de IA que estemos utilizando. Cada modelo tiene un límite de tokens (que incluye tanto el texto que envías como el que genera la respuesta) en cada "ventana" de contexto. Por ejemplo:
- Modelos anteriores: Algunos modelos de GPT-3 tenían alrededor de 2048 o 4096 tokens de límite.
- Modelos más recientes: GPT-4, en algunas configuraciones, puede manejar 8192 o incluso 32,768 tokens en una sola conversación.
Esto significa que, aunque puedas mantener una conversación que en teoría supere ese límite total de tokens, el modelo solo tendrá en cuenta los tokens que entran dentro de ese límite. Una vez que superas ese máximo, el modelo comienza a olvidar o truncar la información más antigua para poder incluir la nueva.
En resumen:
- Sí, puedes tener una conversación larga.
- No obstante, la IA siempre tendrá en cuenta únicamente el contexto que se encuentra dentro de su límite de tokens. Los mensajes y detalles anteriores que excedan ese límite pueden no influir en las respuestas futuras.
Esta limitación es inherente al modo en que funcionan estos modelos y garantiza que el procesamiento se mantenga eficiente.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.