Dans le même test de 430 cas, Jev a laissé passer 68 à 92 % des faux rapports d'agents et Laya 84 à 88 % avec preuves ; en posant une question littérale à la place, Jev n'a laissé passer qu'environ 1 % d'erreurs. La question compte plus que le modèle. Link
𝕏 · Recherche scientifique
0001
AAlejandro Saucedo | KubeCon 2025 AI Day Keynote@AxSaucedo𝕏
Une recommandation incontournable de Sebastian Raschka, retraçant l'évolution de la classification de texte et présentant Jev, le modèle de décision de TypeSafe AI. Link
Cet article examine la précision et l'efficacité de modèles de décision structurés tels que Jev pour la modération des discours haineux, offrant des perspectives pour la modération de contenu. Link
L'utilisateur indique que Jev-as-Judge présente des biais de sévérité et de clémence qui doivent être supprimés pour être utile dans les évaluations d'IA à enjeux élevés.
Le message demande si quelqu'un a utilisé des modèles de type Jev comme juges dans l'apprentissage par récompense de processus (PRL), suggérant que de meilleurs juges pourraient raviver la PRL et qu'une supervision accrue améliore l'apprentissage.
James Briggs analyse le modèle Jev de TypeSafe AI et le compare aux OpenJev (Von) et aux petits modèles GLiNER. GLiNER avec seulement 74M paramètres performe remarquablement, battant même Jev sur Doom.
Ce post partage un article arXiv "Labels Override Definitions in Jev-Style Typed Decision Models" par Seyedarmin Azizi, Erfan Baghaei Potraghloo et Massoud Pedram. Link
Les chercheurs ont évalué deux modèles de décision System-1 — Laya (open-weight) et Jev (hébergé) — sur 11 points de décision d'agent, avec 7 283 cas de base et 6 640 variantes de robustesse. Jev s'est imposé.
Cette recherche propose d'intégrer le modèle Jev dans Semantic SQL, en utilisant des LLM pour juger le sens du texte dans les conditions de filtrage et de jointure SQL, afin de réduire le coût et le temps liés à l'évaluation ligne par ligne.
Présentation d'un article sur Chinese-Jev, visant à étendre le modèle System One de TypeSafe aux tâches en chinois, notamment en traitement du langage naturel et vision par ordinateur. Link