Kommt drauf an ob prinzipbedingtes Problem ist oder nicht, bei ersteren kann man nur versuchen die "KI" zu überreden nicht die Antworten zu geben die man nicht haben will ("don't talk about goblins") oder für Einzelfälle die richtige Antwort vorgeben (jede virale falsche Antwort wie "how many r in strawberry" die dann richtig beantwortet wird, aber keine generelle Lösung für andere Fragen der gleichen Klasse bietet).

LLMs arbeiten nicht mit Buchstaben, sondern mit Tokens. Theoretisch könnte man Token=Buchstabe definieren, das wäre aber sehr ineffizient, daher macht man das nicht. Praktisch sind Tokens eher Silben oder Wortteile, also zb „Donners““Tag“ wären dann zwei Tokens. Jeder Token wird durch eine Zahl repräsentiert und dann wird wild gerechnet. Aber wegen der Tokengeschichte kann man da rechnen wie man will, die Buchstaben kennt das LLM nicht und kann daher damit auch nicht wirklich arbeiten. Daher wird halt ein plausibler Text generiert der halt in diesem Fall nichts mit der korrekten Antwort zu tun hat.

Was LLMs ausgeben ist nicht die Antwort auf die Frage "Welche Wochentage haben den Buchstaben T?" sondern "Wie könnte eine Antwort auf die Frage 'Welche Wochentage haben den Buchstaben T?' aussehen?"

Man kann dann noch Details rumerklären wie dass die mit Tokens arbeiten und keine Wörter oder Buchstaben kennen, aber das grundsätzliche Problem ist dass hinter der Ausgabe keine echte Intelligenz steckt, sondern Statistik¹ beruhend auf dem Trainingsmaterial die durch kompetent wirkende Sprachproduktion intelligent wirkt.

¹ Sehr komplexe Statistik, und mehr Ebenen von Komplexität drüber die versuchen die offensichtlichen Probleme zu kaschieren.