Back to explore

Jev は93%を人間のチェックなしで通過

各モデルのカットオフを「通過した100件中1件以下が誤り」に設定した上で、Jev は93%を人手チェックなしで通し、OpenAI は66%、大型汎用モデルは98%だが約10倍遅い。

The number that matters we think: how many answers can skip a human check? With each model's cut-off set so at most 1 in 100 let through are wrong, Jev lets 93% through and OpenAI's 66%. Big general models reach 98%, but they're 10× slower.

Jev は93%を人間のチェックなしで通過 1
· 0 likesOpen on X