TypeSafe AI ajouté à un vérificateur de citations
L'utilisateur a ajouté @typesafeai à son vérificateur de citations et le trouve excellent ; essai gratuit sur PaperTrellis, tags Jev et IA médicale. Link
Problèmes de biais de Jev-as-Judge dans les évaluations d'IA à enjeux élevés
L'utilisateur indique que Jev-as-Judge présente des biais de sévérité et de clémence qui doivent être supprimés pour être utile dans les évaluations d'IA à enjeux élevés.
Have you noticed that Jev-as-Judge has severity and leniency bias that you have to remove to be useful for high stakes AI Evals?
· 0 likesOpen on X
More like this
JevBench : premier benchmark pour les modèles de classe Jev
JevBench est le premier benchmark pour les modèles de classe Jev. Le Jev original de TypeSafe AI est en tête avec 75,3, suivi de SemIf à 74,6. Résultats complets sur benchmarkheaven.com/jev-models. Link
Jev réalise 100 dilemmes du tramway consécutifs
Le post indique que quelqu'un a confié sa vie à Jev et lui a fait réaliser 100 dilemmes du tramway consécutifs ; au premier tour, Jev a choisi d'actionner le levier avec 99 % de probabilité, sacrifiant 1 pour en sauver 5.
