Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
저자는 OpenAI의 새로운 Decisions API를 Jev, Perplexity, Clef와 1,565개 이메일 벤치마크에서 비교했습니다. 결과는 Perplexity v1.1이 전체적으로 가장 좋았고 OpenAI가 가장 빨랐지만, 신뢰도 행동이 여전히 가장 흥미롭습니다.
I put OpenAI’s new Decisions API through the same 1,565-email benchmark I’ve been running on Jev, Perplexity and Clef. 6 models from 4 companies now. Perplexity v1.1 came out best overall 🚀 OpenAI was the fastest⏱️ But the confidence behavior is still the most interesting