Następne słowo: jak „myśli” model językowy

GPT-2 (OpenAI, 2019, 124 mln parametrów) liczy się w Twojej przeglądarce. Tekst nie opuszcza komputera. Model zna tylko angielski.

1 · Napisz początek zdania (po angielsku)

2 · Tak model widzi tekst: tokeny

Model nie czyta słów, tylko tokeny: kawałki słów. Polskie litery rozpadają się na bajty (dziwne znaki), więc polskie zdanie to dużo więcej tokenów.

3 · Prawdopodobieństwo następnego tokenu (top 10)

Temperatura 1.0

Kliknij pasek, aby dopisać ten token. Niska temperatura: model wybiera prawie zawsze to samo. Wysoka: więcej przypadku.

Ładowanie modelu…

4 · Niech model pisze dalej

Kliknij jeszcze raz: przy tej samej temperaturze wynik często jest inny. Model losuje z rozkładu.

Co z tego wynika

Model nie sprawdza faktów. Wybiera tokeny, które zwykle padają po takim tekście. Stąd odpowiedzi pewne w tonie, a czasem zmyślone, np. treść nieistniejącego art. 1105 k.c.

Model: Xenova/gpt2 (ONNX, ok. 130 MB, pobierany raz) przez transformers.js. Pełna wizualizacja wnętrza modelu: Transformer Explainer. IHRL 2026/27, Ł. Szoszkiewicz.