Token L'unità di misura dell'AI
Un token è il frammento di testo più piccolo che un LLM elabora. Non corrisponde a una parola intera: può essere una sillaba, un simbolo, o una parola corta. In italiano, regola pratica: una parola media vale 1,5–2 token. Prezzi delle API, limiti di elaborazione, velocità di risposta — tutto si misura in token. Ottimizzare i token è la forma più immediata di ottimizzare i costi dell'AI.
Come funziona la tokenizzazione
Prima di elaborare qualsiasi testo, il modello lo suddivide in token tramite un processo chiamato tokenizzazione. Un tokenizer tipico (come quello di GPT o Claude) divide il testo in unità sub-word: pezzi di parole che ricorrono frequentemente nel corpus di addestramento.
Esempi pratici in italiano:
- "ciao" → 1 token
- "intelligenza" → 3–4 token
- "imprenditore" → 4–5 token
- Un emoji → 1–3 token
- Un numero come "2026" → 1–2 token
L'italiano usa mediamente più token dell'inglese per lo stesso contenuto informativo, perché i tokenizer sono addestrati principalmente su testo inglese. Questo significa che un prompt in italiano costa leggermente di più di uno equivalente in inglese.
Perché i token contano per il tuo business
Il costo dell'AI commerciale si misura direttamente in token: si paga per ogni token in input (quello che scrivi al modello) e per ogni token in output (quello che il modello genera). I prezzi variano da pochi centesimi per milione di token per i modelli più piccoli, a qualche dollaro per i modelli più capaci.
Per un imprenditore che usa l'AI ogni giorno, la differenza tra un prompt da 200 token e uno da 2.000 token non è banale se moltiplicata per centinaia di chiamate mensili.
Come ottimizzare l'uso dei token
Alcune strategie pratiche che insegniamo nel metodo AI Coach Italia:
- Prompt concisi: elimina ripetizioni, esempio lunghi, contesto irrilevante
- Caching: Claude e GPT-4 supportano il caching del system prompt — paghi la prima volta, poi molto meno
- RAG invece di documenti interi: con RAG passi solo i chunk rilevanti, non il documento completo
- Modelli tier-matching: usa modelli leggeri per task semplici (estrazione, classificazione) e modelli potenti solo per task complessi
- Output strutturato: chiedere JSON invece di testo libero riduce spesso i token di output
Token e context window
Il token è anche l'unità con cui si misura la finestra di contesto — il limite di quanto il modello può tenere "in mente" contemporaneamente. Claude 3.5 Sonnet può gestire fino a 200.000 token in input, equivalenti a circa 150.000 parole o più di 400 pagine. Ma una context window grande non significa che usarla tutta sia efficiente: più contesto = più costo e spesso più lentezza.
// Come lo usa AI Coach Italia
Nel Brain Training Program insegniamo a progettare prompt e sistemi RAG token-efficienti. Non si tratta di risparmiare per il gusto di risparmiare: un sistema snello risponde più velocemente, scala meglio e permette di allocare il budget token verso i task che davvero richiedono potenza. Federico Casarella guida i partecipanti nell'ottimizzazione del pipeline token per i loro casi d'uso specifici.
Scopri il Brain Training Program →Domande frequenti sui token AI
Cos'è un token nell'AI?
Un token è il frammento di testo più piccolo che un LLM elabora. Non corrisponde necessariamente a una parola: può essere una sillaba, un simbolo di punteggiatura, o una parola corta. In italiano, una parola media vale circa 1,5–2 token.
Quanti token ha una pagina di testo?
Una pagina di testo standard (circa 400 parole in italiano) vale approssimativamente 600–800 token. Un documento di 10 pagine vale circa 6.000–8.000 token. Questa stima è utile per calcolare i costi delle API e verificare se un documento rientra nella context window del modello.
Come si riducono i costi legati ai token?
Le strategie principali: eliminare dal prompt informazioni ridondanti, usare modelli più piccoli per task semplici, implementare il prompt caching (disponibile su Claude e GPT-4), comprimere il contesto con riassunti invece di documenti interi, usare RAG per passare solo i chunk rilevanti.
Il limite di token è uguale per tutti i modelli?
No. Ogni modello ha la propria context window: Claude 3.5 Sonnet arriva a 200.000 token di input, GPT-4o a 128.000, Gemini 1.5 Pro a 1 milione. Più ampia è la finestra, più contesto puoi passare in una sola richiesta — ma il costo per token rimane e aumenta con la dimensione del contesto.