Tests prüfen Code. Evals prüfen Agenten.

Ein Test prüft eine feste Erwartung an deterministischen Code: Derselbe Input liefert denselben Output, das Ergebnis ist bestanden oder nicht bestanden. Ein Eval (= eine Bewertung des Modellverhaltens gegen ein Rubric, einen vorab festgelegten Bewertungsmaßstab) liefert dagegen einen Score, weil dieselbe Frage zweimal leicht verschiedene Antworten erzeugt.

Die Spannweite zeigt der Vergleich zweier Fälle. Ob eine Funktion aus 19,99 und 19 Prozent den Bruttopreis rechnet, gehört in einen Test. Ob ein Support-Agent eine Kündigung höflich, korrekt und ohne erfundene Zusage beantwortet, gehört in ein Eval, da es dafür keinen einzigen richtigen Satz gibt.

Ein Verifikationsgate (= die Stelle, an der ein Ergebnis über den nächsten Schritt entscheidet) arbeitet automatisch bei technischen Regeln und mit einem Menschen bei allem, was ein Rubric nicht abschließend bewerten kann. Wichtig ist: Ein Eval ersetzt keinen Test. Es beantwortet eine andere Frage.

1. Eine Test-Suite deckt die deterministischen Teile des Codes ab und läuft bei jedem Commit.
2. Ein Eval-Set mit repräsentativen Aufgaben liegt vor und läuft bei jedem Modell- oder Prompt-Wechsel.
3. Jedes Eval-Ergebnis ist gegen ein benanntes Rubric bewertbar, nicht gegen ein Bauchgefühl.
4. Ein Verifikationsgate legt fest, wer bei einem niedrigen Score entscheidet: ein Mensch oder eine automatische Regel.
5. Die Zielstufe aus dem Reifegradmodell bestimmt, wie viel Automatisierung am Gate zulässig ist.