Artificiell intelligens · AI1

Token för token

Så skriver en språkmodell. Gissa nästa ord i en mening och jämför med vad en riktig modell gissar. Se hur sammanhanget ändrar modellens gissning, hur texten delas i tokens, hur modellen väljer ord, vad temperaturen gör och varför det sannolika inte alltid är sant.

Öppnar övningen…

Sannolikheterna kommer från språkmodellen Llama 3.3 70B från Meta, via Cloudflare Workers AI. De spelades in i oktober 2026. Uppdelningen i tokens görs med Llama 3:s ordlista, via llama3-tokenizer-js.