Der Autor verglich die neue Decisions-API von OpenAI mit Jev, Perplexity und Clef anhand eines Benchmarks mit 1.565 E-Mails. Perplexity v1.1 schnitt insgesamt am besten ab, OpenAI war am schnellsten, aber das Konfidenzverhalten bleibt am interessantesten.
I put OpenAI’s new Decisions API through the same 1,565-email benchmark I’ve been running on Jev, Perplexity and Clef. 6 models from 4 companies now. Perplexity v1.1 came out best overall 🚀 OpenAI was the fastest⏱️ But the confidence behavior is still the most interesting
Malte Ubl testete Jev von TypeSafe AI in einem bestehenden Klassifikator-Eval: Es sättigte das Eval qualitativ und war 6-mal schneller als Gemini 2.5 Flash Lite.
Der Autor hat eine DuckDB-Erweiterung veröffentlicht, die TypeSafe AIs Jev nutzt, um Zeilen in CSV/Parquet-Dateien oder DuckDB-Tabellen schnell zu klassifizieren – etwa 10 Sekunden für 1k Zeilen, schneller als ein LLM und ergonomischer als ein Klassifikator.
Der Autor fasste jedes Paper mit DeepSeek V4 Flash zusammen und übergab Titel, Zusammenfassung und 24 mögliche Themen an Jev zur Klassifizierung. 1.018 KI-Papers wurden bei 0,08 $ Gesamtkosten und 256 ms medianer End-to-End-Latenz pro Paper verarbeitet.
