Jev vs. LLM-as-a-Judge: Was sich ändert, wenn das Modell einen Typ zurückgibt
TypeSafes Jev 1.13 ist auf OpenRouter: ein Entscheidungsmodell, das eine typisierte Antwort mit kalibrierten Wahrscheinlichkeiten liefert statt Prosa. Wir stellen die veröffentlichten Benchmarks neben das LLM-as-a-Judge-Muster, das sie ersetzen sollen - Batching, Re-Ranking, Verifier-Kaskaden - und markieren, wo die Belege aufhören.
TechChase Team
9 Min. Lesezeit
Teilen
Seit dem 18. September 2026 ist typesafe/jev-1.13 auf OpenRouter gelistet. Die Zahlen auf dieser Seite sehen auf den ersten Blick falsch aus: 0,042 $ pro Million Input-Tokens, 0,00 $ pro Million Output-Tokens, 32K Kontext, 0,26 s P50-Latenz, ausgeliefert von genau einem Provider.
Kostenlose Output-Tokens sind keine Aktion. Sie sind eine Aussage darüber, was das Modell tut. Jev schreibt keinen Output. Es gibt eine typisierte Entscheidung plus eine Wahrscheinlichkeitsverteilung zurück – also genau das, was man bisher mühsam aus der Prosa eines LLM herausgeparst hat.
TypeSafe nennt diese Modellklasse System One (nach Kahneman: schnelles, intuitives Urteilen im Gegensatz zum langsamen, abwägenden System Two). Die interessante Frage ist nicht, ob das Framing clever ist, sondern ob es das Muster schlägt, auf das es zielt: LLM-as-a-Judge.
Das Muster, um das es geht
LLM-as-a-Judge steckt in fast jedem produktiven KI-System, meist ohne Namen:
Welches Team bekommt dieses Ticket? → Modell prompten, Label parsen.
Ist diese abgerufene Passage relevant? → Modell prompten, Note von 1–10 verlangen.
Hat der Extraktor dieses Feld halluziniert? → Modell prompten, "ist das gut?" fragen.
Welcher dieser 30 Kandidaten beantwortet die Query? → Modell prompten, Ranking verlangen.
Das funktioniert – und hat vier strukturelle Kosten, die kein Prompt behebt:
Die Skala erfindest du. "Bewerte die Relevanz von 1 bis 10" hat keine Grundwahrheit hinter sich. Die 7 von heute und die 7 von morgen sind nicht dieselbe 7 – und schon gar nicht die 7 eines anderen Kandidaten.
Du bezahlst für Prosa. Jedes Urteil verbrennt Output-Tokens – zu 4,50 $/M bei gpt-5.4-mini und 30 $/M bei gpt-5.5, um die beiden Modelle zu nehmen, gegen die TypeSafe benchmarkt.
Du parst. JSON-Mode senkt die Fehlerquote, entfernt aber weder den Parse-Schritt noch den Zweig für die kaputte Antwort.
Du bekommst kein ehrliches "Ich weiß es nicht". Ein Judge, der nach einem Label gefragt wird, liefert ein Label. Unsicherheit muss man rekonstruieren, indem man denselben Call mehrfach sampelt.
Was Jev stattdessen zurückgibt
Man schickt einen State (String, JSON-Objekt oder Array aus Textwerten) und eine Menge Fragen. Es gibt drei Primitive, und das ist das komplette Vokabular:
Primitive
Form der Frage
Antwort
Choice
Welches Team soll dieses Ticket bearbeiten?
choice: "billing" + probabilities je Option + confidence
Score
Wie frustriert ist dieser Kunde?
score: 1.035 über geordnete Stufen + legend + confidence
Noul
Fordert diese Nachricht eine Rückerstattung?
noul: 0.95 – die Wahrscheinlichkeit, dass die Antwort Ja ist
Ein Call, drei Fragen, aus TypeSafes eigenem Quickstart:
Drei Unterschiede zu einem Judge – und keiner davon ist kosmetisch:
Der Antwortraum gehört dir, pro Frage definiert. Optionen und Stufenbeschreibungen sind Daten im Request, keine Skala, die sich das Modell ausdenkt.
Die Wahrscheinlichkeiten sind auf Kalibrierung trainiert – gegen tatsächliche Ergebnisse optimiert und über Gruppen von Vorhersagen gemessen. Kalibrierung garantiert nicht, dass eine einzelne Antwort stimmt; sie garantiert, dass die Zahlen in der Summe etwas bedeuten. Genau das verspricht ein "8 von 10" eines Judges nie.
48 Output-Tokens kosten 0,00 $. Bezahlt wird der State, einmal.
Die Zahlen, die TypeSafe veröffentlicht
Alle drei Ergebnisse stammen aus TypeSafes eigenen Cookbooks und liefen auf jev-1.12 – dem Vorgänger der Version, die jetzt auf OpenRouter steht, zum selben Preis. Zu lesen sind sie als herstellereigene, mit eigenem API-Key reproduzierbare Belege, nicht als unabhängige Benchmarks. Was sie nicht zeigen, steht weiter unten.
1. Batching ist fast umsonst – und ändert nichts
Ein Regulatorik-Briefing: der Wikipedia-Artikel zur DSGVO (~54.000 Zeichen) plus 13 Fragen (8 Nouls, 2 Choices, 3 Scores). Einmal als ein Call, einmal als 13 Calls, jeweils fünf Durchläufe:
Strategie
Calls
Kosten
Gesamtzeit
Ein Call, alle 13 Fragen
1
0,000497 $
0,27 s
13 Calls, je eine Frage
13
0,006090 $
2,71 s
12,2x günstiger, 10,0x schneller. Die interessante Spalte ist die nicht abgedruckte: Über 5 Wiederholungen kamen 11 von 13 Antworten mit einer Standardabweichung von exakt 0,0 zurück – unter beiden Strategien; die beiden, die schwankten, schwankten unter beiden gleich stark. Jev liest den State einmal ein und bewertet jede Frage unabhängig dagegen – keine Frage sieht die anderen zwölf.
Diese Eigenschaft hat ein LLM-as-a-Judge nicht. Packt man 13 Bewertungsfragen in einen Judge-Prompt, beginnen die Antworten miteinander zu korrelieren – mit ihrer Reihenfolge und mit dem, was das Modell zwei Zeilen vorher geschrieben hat.
2. Re-Ranking: eine Ja/Nein-Frage als Ranking-Score
3.565 Urteilspassagen aus dem juristischen CLERC-Datensatz. BM25 baut pro Query eine Shortlist von 30 Kandidaten, dann ein Noul pro Query-Kandidaten-Paar – "könnte dieser Kandidat aus dem zitierten Präzedenzfall stammen?" – und die Shortlist wird nach der zurückgegebenen Wahrscheinlichkeit sortiert.
Fast Search (BM25)
+ Jev Re-Rank
Korrekte Passage auf Rang 1
5 %
18 %
In den Top 5
15 %
35 %
In den Top 10
38 %
62 %
1.200 Calls, 1.536.002 Input-Tokens, 0,0645 $ insgesamt. Das ist die komplette Re-Ranking-Rechnung für 40 Queries.
Eine Bewertungsskala musste hier niemand erfinden: Das Noul ist der Score – vergleichbar über alle Paare hinweg, weil jedem Paar dieselbe Frage gestellt wurde. Mit einem Judge heißt derselbe Schritt: ein 1–10-Relevanzraster schreiben und hoffen, dass es 1.200-mal gleich angewendet wird.
3. Verifier-Kaskade: Jev als Torwächter, nicht als Arbeiter
Der ehrlichste Einsatz des Modells in der Doku, weil er das generative Modell im Spiel lässt. Strukturierte Datenextraktion in drei Stufen:
Extrahieren mit einem billigen Modell (gpt-5.4-mini, 0,75 $/4,50 $ pro M).
Verifizieren mit Jev: ein Noul pro Feld, so formuliert, dass schlecht der true-Fall ist – "fehlt dieser Wert in der Quelle?", "stammt er aus unzusammenhängendem Text?"
Eskalieren an gpt-5.5 (5,00 $/30,00 $ pro M) nur dann, wenn bei einem Feld P(falsch) den Schwellwert reißt.
Das durchgerechnete Beispiel ist eine gescrapte NYU-Veranstaltungsseite ohne jedes Anmeldedatum. Das Mini-Modell erfindet eine plausible, schemakonforme description. Jevs Feld-Flags feuern bei P=0,95 (halluziniert) und P=0,85 (off_target) – während das Feld, das legitim leer blieb, niedrig bleibt. Das Gate eskaliert, das Reasoning-Modell liefert einen ehrlichen leeren String.
Entscheidend ist die Form des Gewinns: Ein pauschaler "ist diese Extraktion gut?"-Judge kam auf demselben Datensatz auf 0,56 – ein Schulterzucken. Die Fragen pro Feld lokalisieren den Fehler. Über 100 Prompts hinweg schiebt das Durchfahren dieses Schwellwerts die Kosten-Qualitäts-Front der Kaskade über und links an jedes einzeln betriebene Modell – inklusive des Reasoning-Modells mit ~0,81 Qualität bei ~0,10 $ pro Extraktion.
Confidence ist der Teil, den ein Judge nicht liefert
confidence verdichtet die Form der Wahrscheinlichkeitsverteilung auf eine Zahl zwischen 0 und 1. Eine konzentrierte Verteilung heißt: klares Bild. Eine flache heißt: Das Modell kann die Optionen wirklich nicht trennen. Es gibt sie bei Choice- und Score-Antworten (nicht bei Noul – dort ist die Wahrscheinlichkeit die Antwort).
Diese eine Zahl macht das Modell in Code mit Konsequenzen überhaupt erst brauchbar:
Der Schwellwert ist keine Zahl für das ganze System – er skaliert mit dem, was die falsche Antwort kostet. Den falschen Screen zeigen und die falsche Überweisung freigeben sind nicht dasselbe Risiko, und diesen Unterschied kodiert dein Code, nicht das Modell.
Wo Jev verliert
TypeSafe veröffentlicht eine Jaggedness-Seite mit den Schwachstellen des eigenen Modells – mehr, als die meisten Anbieter tun. In Summe zieht sie eine klare Grenze um den sinnvollen Einsatzbereich:
Schwachstelle
Realität
Mathematik, Zählen, Zahlen
Kein Taschenrechner. Zählfehler wachsen mit der Listenlänge. Arithmetik gehört in den Code.
Datumsangaben
Werden als Text gelesen, nicht als geordnete Größen. Bestandteile als Choice extrahieren, im Code vergleichen.
Indirektion
Eine Eigenschaft einer Eigenschaft kostet Genauigkeit. Relevanten State beim Namen nennen.
Wörtliches Lesen
Es beantwortet die Frage, die du geschrieben hast – nicht die, die du gemeint hast. Grenzfälle gehören in die criteria.
Großer, verrauschter State
Context Rot ist hier real: Irrelevantes im State kostet Genauigkeit. Vorher filtern.
Adversariale Inhalte
State gilt nicht automatisch als feindlich. Prompt Injection im State kann die Antwort verschieben.
Generierung
Dafür nicht trainiert. Begrenzter Antwortraum → Choice. Freier Text → anderes Modell.
Und eine Eigenheit verdient einen eigenen Absatz, weil sie jeden trifft, der Judge-Schwellwerte zwischen Fragetypen mitnimmt: Strukturelle Invarianten gelten nicht. Dieselbe Frage, einmal als Noul und einmal als Ja/Nein-Choice gestellt, liefert nicht vergleichbare Zahlen – die Doku zeigt noul: 0,22 neben Choice P(ja): 0,01 bei confidence 0,97 auf demselben Ticket. Und eine Frage plus ihre Verneinung, als zwei Nouls, summierten sich auf 1,19. Eine Choice ist relativ (welche Option gewinnt), ein Noul absolut (kann für alle niedrig sein). Einen auf dem einen getunten Schwellwert am anderen wiederzuverwenden, ist ein Bug.
Dazu kommen: Englisch zuerst (andere Sprachen, auch CJK, werden verarbeitet, aber schwächer), nur Text (kein Bild, Audio, Video) und Rate Limits, von denen der Anbieter selbst sagt, dass sie sich noch bewegen.
Was die Benchmarks nicht belegen
Präzision bei der Beweislage lohnt sich hier, gerade weil die Zahlen gut sind:
Sie sind herstellereigen. Jede Zahl stammt aus TypeSafes Cookbooks, auf Datensätzen, die TypeSafe ausgewählt hat. Die Notebooks liefern ihren API-Cache mit, sind also reproduzierbar – reproduzierbar ist aber nicht unabhängig.
Sie liefen auf jev-1.12, nicht auf dem jev-1.13, das jetzt auf OpenRouter steht. Gleicher Preis, gleiche Form, ungeprüfte Deltas.
Die Stichproben sind klein. 40 Queries im Re-Ranking, 100 Prompts im Kaskaden-Sweep.
Es gibt kein direktes Duell gegen einen gut gebauten Judge. Die Kaskade vergleicht Jev-als-Verifier gegen keinen Verifier und gegen Gesamt-Output-Judging – nicht gegen ein gpt-5.5, dem man dieselben engen Ja/Nein-Fragen pro Feld stellt. Der Kostenvorsprung würde diesen Vergleich überleben; der Genauigkeitsvorsprung ist ungetestet.
Die Kostengrafik der Kaskade ist eine historische Momentaufnahme, die laut Doku nicht auf den aktuellen Jev-Preis neu gerechnet wurde.
Auch Kalibrierung verdient weniger Magie, als das Marketing ihr gibt: Sie ist eine Eigenschaft von Vorhersagen in der Summe. Eine kalibrierte 0,8 heißt, dass rund 80 % solcher Antworten richtig sind. Über die eine Antwort vor dir sagt sie nichts.
Wo wir es tatsächlich einsetzen würden
Unser Fazit nach dem kompletten Doku-Satz: Das ist kein LLM-Ersatz, sondern eine billige, typisierte Entscheidungsschicht, mit der man aufhören kann, einem generativen Modell Fragen zu stellen, für die es überqualifiziert und schlecht geschnitten ist.
Vier konkrete Plätze:
Intent-Routing vor einem Agenten. Eine Choice über die eigenen Handler, per Confidence abgesichert. Günstiger und konsistenter als ein Router-Prompt – und es scheitert laut, statt das erste plausible Tool zu ziehen.
Guardrails in beide Richtungen einer LLM-App. Ein Request, der Jailbreak-Wahrscheinlichkeit und potenziellen Schaden bewertet; die Schwellwerte im eigenen Code entscheiden über Durchlassen / Prüfen / Blocken.
RAG-Passagen vorsortieren. Ein Noul pro abgerufener Passage, bevor das teure Modell sie liest – Irrelevantes verwerfen, eingeschleuste Anweisungen markieren. Das greift genau den Context Rot an, der Long-Context-RAG schlechter statt besser macht.
Verifier in einer Kaskade. Pro Feld, schlecht = true, max-Gate. Hier ist die veröffentlichte Kostenkurve am stärksten und der Fehlermodus sicher: Ein Fehlalarm kostet einen Reasoning-Call, keine falsche Antwort.
Was wir nicht tun würden: ihm Arithmetik, Datumsrechnung, Zählaufgaben geben – oder irgendetwas, dessen Antwortraum vor dem Call nicht feststeht. Die Doku sagt das selbst. In einer Launch-Woche ist das der vertrauenswürdigste Teil der Seite.
Fazit
LLM-as-a-Judge war immer ein Workaround. Wir haben einen Textgenerator zum Klassifizieren benutzt, weil ein Textgenerator das Einzige war, das den Text verstand. Jevs Wette ist, dass genau dieser Job – begrenzter Antwortraum, kalibrierte Wahrscheinlichkeit, keine Prosa – eine eigene Modellklasse verdient, mit kostenlosen Output-Tokens als natürlicher Konsequenz.
Die veröffentlichten Belege stützen die Kosten- und Konsistenzaussagen stark, die Genauigkeitsaussagen nur schmal. Bei 0,042 $ pro Million Input-Tokens ist die richtige Reaktion nicht, den Benchmarks zu glauben – sondern sie auf den eigenen Daten nachzufahren, wo eine echte Evaluation weniger kostet als ein Kaffee.
