Vorstellung von Jev, einem schnellen Modell von TypeSafe, das nicht lange chattet oder denkt, sondern einfach aus vorgegebenen Optionen wählt. Beschrieben wird ein Setup, bei dem eine Regelschicht legale Züge filtert.
Das Jev-Modell generiert keinen Text; es liefert typisierte Antworten und Wahrscheinlichkeiten, um Softwareentscheidungen zu automatisieren und Daten zu klassifizieren. 0,042 $ pro Eingabe, Ausgabe kostenlos.
Der Beitrag nutzt die Analogie einer Triage-Krankenschwester, um zu erklären, dass Jev ein Verkehrsleiter ist, nicht der endgültige Analytiker, und das LLM nur bei Bedarf eingreift.
Der Beitrag erklärt, dass Jev einen Zustand, die aktuelle Situation, plus Fragen mit vorab festgelegten Antworten erhält und Wahrscheinlichkeiten über diese Antworten zurückgibt. Die Labels definiert die App, das Modell kann also keine neuen erfinden.
Der Beitrag untersucht, wie Jev als Entscheidungsmodell funktioniert: Die meisten KI-Systeme lassen ein einziges großes LLM sortieren, routen, bewerten, argumentieren und schreiben, während der Jev-Leitfaden eine Aufteilung vorschlägt – das LLM generiert, Jev entscheidet. Außerdem wird erklärt, wo das Entscheidungsmodell im System sitzt und was der Leitfaden nicht beweist.
Mit Ollama 0.35 kann das Jev-Entscheidungsmodell lokal ausgeführt werden. Nach Texteingabe erhält man Vorschläge zur Teamzuweisung, Erstattung und Dringlichkeit. Jede Ausgabe enthält Wahrscheinlichkeiten; der Score (z.B. 0.815) ist ein wahrscheinlichkeitsgewichteter Mittelwert und sollte nicht mit Konfidenz verwechselt werden.
Der Autor untersucht, wie man Jev mit einem Open-Source-Sprachmodell und Token-Wahrscheinlichkeiten simulieren kann, erläutert die Funktionsweise und stellt eine Demo vor, die mit DiffusionGemma auf Cloudflare Workers AI läuft. Link
Jev 1.13 von TypeSafe nimmt Kontext und typisierte Fragen entgegen und liefert Wahrscheinlichkeiten—keine Absätze zum Bereinigen, kein JSON zum Hervorlocken.
Mit einer Schwelle, bei der höchstens 1 von 100 durchgelassenen Antworten falsch ist, lässt Jev 93 % ohne menschliche Prüfung durch, OpenAI 66 %; große allgemeine Modelle erreichen 98 %, sind aber etwa 10-mal langsamer.
hev mind argumentiert, dass die Hälfte des Benchmarks privat zu halten, die Rangliste echte Fähigkeiten statt auswendig gelernter Antworten widerspiegeln lässt, und das die richtige Entscheidung ist. Link