TypeSafe AIが引用チェッカーに追加
ユーザーが引用チェッカーに@typesafeaiを追加し高評価。PaperTrellisで無料試用可能。Jevと医療AIのタグ付き。 Link
高リスクAI評価におけるJev-as-Judgeのバイアス問題
ユーザーは、Jev-as-Judgeが深刻性と寛容性のバイアスを持ち、高リスクのAI評価に使用するにはこれらを除去する必要があると指摘しています。
Have you noticed that Jev-as-Judge has severity and leniency bias that you have to remove to be useful for high stakes AI Evals?
· 0 likesOpen on X
More like this
JevBench：Jevクラスモデル初のベンチマーク公開
JevBenchはJevクラスモデル初のベンチマークです。TypeSafe AIのオリジナルJevが75.3で首位、SemIfが74.6で2位。全結果はbenchmarkheaven.com/jev-modelsで。 Link
Jevがトロッコ問題を100回連続で実行
投稿によると、誰かがJevに命を託し、トロッコ問題を100回連続で実行させた。最初のラウンドでJevは99%の確率でレバーを引き、1人を犠牲にして5人を救う選択をした。
