Experiment
Tokenizer-Werkstatt
So liest eine KI: Ein Sprachmodell sieht keine Buchstaben und keine ganzen Wörter, sondern Tokens – Wortstücke aus seinem Wörterbuch. Häufige Wörter sind ein einziges Token, seltene werden zerlegt. Jedes Token hat eine Nummer, und mit diesen Nummern rechnet die KI. Tippe etwas und schau zu!
So sieht die KI deinen Text
␣ = Das Token beginnt mit einem Leerzeichen. Ein Feld mit „3 Tokens“ heisst: Dieses Zeichen (z.B. ein Emoji) braucht mehrere Tokens, weil es selten ist.
Für Lehrpersonen
Was ist ein Tokenizer?
Bevor ein Sprachmodell rechnen kann, zerlegt ein Tokenizer den Text in Tokens und ersetzt jedes durch eine Nummer. Das Wörterbuch (Qwen: ca. 151'000 Einträge, Deutsches GPT-2: ca. 50'000) wurde aus vielen Texten gelernt: Was häufig vorkommt, wird ein eigenes Token. Darum sind „der“ oder „Schule“ ein Token, „Chuchichäschtli“ dagegen viele.
Warum das wichtig ist
Modelle denken in Tokens, nicht in Buchstaben. Deshalb tun sie sich schwer mit Aufgaben wie „Wie viele r hat Erdbeere?“ oder Rückwärts-Schreiben. Auch Kosten und Längengrenzen von KI-Diensten werden in Tokens gemessen.
Sprache und Fairness
Vergleicht die beiden Wörterbücher: Das deutsche GPT-2 braucht für deutsche Texte meist weniger Tokens, das mehrsprachige Qwen für Englisch. Dialekt, seltene Sprachen und Emojis brauchen mehr Tokens – das Modell „sieht“ sie bruchstückhafter. Eine gute Diskussionsfrage: Wessen Sprache ist im Wörterbuch gut vertreten?
Zahlen und Emojis
Qwen zerlegt Zahlen in einzelne Ziffern, GPT-2 in Gruppen. Emojis bestehen intern aus mehreren Bytes und brauchen darum oft 2–4 Tokens; die Werkstatt fasst sie zu einem Feld zusammen und zeigt die Anzahl.
Datenschutz
Läuft im Browser, ohne Anmeldung. Der Text wird nicht gespeichert oder gesendet; nur das Wörterbuch (ca. 2–7 MB) wird einmalig von ict.schule geladen.