Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
Jevがメールベンチマークで比較
著者はOpenAIの新しいDecisions APIをJev、Perplexity、Clefと1,565件のメールベンチマークで比較しました。結果はPerplexity v1.1が総合的に最良で、OpenAIが最速でしたが、信頼度の挙動が最も興味深いとされています。
I put OpenAI’s new Decisions API through the same 1,565-email benchmark I’ve been running on Jev, Perplexity and Clef. 6 models from 4 companies now. Perplexity v1.1 came out best overall 🚀 OpenAI was the fastest⏱️ But the confidence behavior is still the most interesting
· 0 likesOpen on X
More like this
JevでDuckDBの行を高速分類
著者がDuckDB拡張を公開。TypeSafe AIのJevを使い、CSV/ParquetファイルやDuckDBテーブルの行を高速分類。1k行で約10秒、LLMより速く、分類器より使いやすい。
JevでAI論文1,018本を分類、総コスト0.08ドル
DeepSeek V4 Flashで各論文を要約し、タイトル・要約・24の候補トピックをJevに送って分類。1,018本のAI論文を総コスト0.08ドル、中央値256msのエンドツーエンド遅延で処理した。
