Context
window
Finestra di contesto · Limite di memoria istantanea
La context window è la quantità massima di token che un LLM può tenere "in mente" contemporaneamente — sommando input (tutto quello che scrivi) e output (quello che genera). Oltre quel limite, le informazioni più vecchie vengono scartate. I modelli top del 2026 arrivano a 200.000–1.000.000 di token, ma il limite esiste sempre. Ecco perché l'AI a volte sembra dimenticare l'inizio di una conversazione lunga.
Perché la context window esiste
L'architettura Transformer alla base degli LLM funziona tramite un meccanismo di attenzione che confronta ogni token con tutti gli altri nel contesto. Più il contesto è lungo, più calcoli servono — il costo computazionale cresce in modo quadratico. La context window è il compromesso tra capacità e praticabilità economica.
In termini pratici: immagina la context window come la scrivania di lavoro di un assistente. Tutto ciò che ci metti sopra è immediatamente disponibile. Ma la scrivania ha una superficie finita: quando aggiungi nuovi documenti, quelli più vecchi cadono per terra e l'assistente non può più vederli.
Context window nei modelli principali (2026)
- Claude 3.5 Sonnet: 200.000 token in input (~150.000 parole)
- GPT-4o: 128.000 token in input (~96.000 parole)
- Gemini 1.5 Pro: fino a 1.000.000 token in input
- Llama 3.1 70B: 128.000 token
200.000 token equivalgono a circa 400 pagine di testo — più che sufficienti per quasi tutti i task quotidiani. Ma non tutto quello che passi nella context window viene "letto" con la stessa attenzione.
Come superare il limite: la soluzione strutturale
La risposta alla context window non è una finestra sempre più grande: è un sistema di memoria esterna intelligente. Il modello ideale è quello del cervello umano: non tieni tutto in mente contemporaneamente, ma sai dove cercare quando serve.
Le tecniche principali che usiamo in AI Coach Italia:
- RAG: recupera dal tuo archivio solo i chunk più rilevanti per la domanda corrente
- Summarizzazione progressiva: a ogni turno di conversazione, comprimi i messaggi più vecchi in un riassunto
- Second Brain stateful: mantiene memoria persistente tra sessioni separate
- Memory management con embedding: classifica i ricordi per rilevanza e li recupera on demand
Il risultato è un sistema che sembra avere una context window infinita, ma funziona con token contati e costi prevedibili.
Context window vs memoria permanente
La context window è stateless: si azzera a ogni nuova conversazione. È la RAM del tuo computer — veloce, ma volatile. Un Second Brain è il disco fisso — lento da accedere ma persistente nel tempo. Un sistema ben progettato usa entrambi: la context window per il lavoro corrente, il Second Brain per la memoria a lungo termine.
// Come lo usa AI Coach Italia
Nel Brain Training Program costruiamo il sistema di gestione del contesto per ogni partecipante: un pipeline RAG che fornisce al modello solo le informazioni rilevanti al momento giusto, un sistema di memoria persistente che sopravvive alla fine della sessione, e prompt calibrati per sfruttare al massimo ogni token nella finestra disponibile. L'obiettivo è un assistente AI che ricorda davvero — non uno che dimentica ogni volta.
Scopri il Brain Training Program →Domande frequenti sulla context window
Cos'è la context window?
La context window (finestra di contesto) è la quantità massima di token che un LLM può elaborare contemporaneamente in una singola richiesta, sommando input e output. Oltre quel limite, il modello scarta le informazioni più vecchie per fare spazio alle nuove.
Perché l'AI dimentica nelle conversazioni lunghe?
Perché la context window ha un limite fisso di token. Quando la conversazione supera quel limite, il sistema deve scartare i messaggi più vecchi. La soluzione strutturale è un sistema di memoria esterna — RAG o Second Brain — che fornisce al modello il contesto rilevante on demand.
Una context window più grande è sempre meglio?
Non necessariamente. Una finestra grande permette di elaborare documenti lunghi, ma ha costi: più token in input significa più costo economico, più latenza, e potenziale degrado della qualità ("lost in the middle" — il modello fatica ad essere ugualmente attento su contesti lunghissimi). La strategia migliore è usare RAG per fornire solo il contesto necessario.
Come supero il limite della context window?
Le soluzioni principali: RAG che recupera solo i chunk rilevanti dal tuo archivio, summarizzazione periodica della conversazione, un Second Brain stateful che mantiene la memoria tra sessioni diverse, o sistemi di memory management che comprimono il contesto vecchio in modo intelligente.