Présentation de Jev, un modèle rapide de TypeSafe qui ne discute pas et ne réfléchit pas longuement, mais choisit simplement parmi les options données. Il décrit une configuration où une couche de règles filtre les mouvements légaux.
Le modèle Jev ne génère pas de texte ; il fournit des réponses typées et des probabilités pour automatiser les décisions logicielles et classer les données. 0,042 $ en entrée, gratuit en sortie.
Le post utilise l'analogie d'une infirmière de triage pour expliquer que Jev est un contrôleur de trafic, pas l'analyste final, le LLM n'intervenant qu'en cas de besoin.
Le post explique que Jev prend un état, la situation actuelle, et des questions dont les réponses sont fixées à l'avance, puis renvoie des probabilités sur ces réponses. Les étiquettes sont définies par l'application, le modèle ne peut donc pas en inventer de nouvelles.
Le post explore le fonctionnement de Jev en tant que modèle de décision : la plupart des systèmes IA font appel à un seul grand LLM pour trier, router, juger, raisonner et écrire, tandis que le guide Jev propose une répartition—le LLM génère, Jev décide. Il explique aussi où se situe le modèle de décision dans un système et ce que le guide ne prouve pas.
Avec Ollama 0.35, vous pouvez exécuter le modèle de décision Jev en local. En saisissant un texte, vous obtenez des suggestions sur l'attribution d'équipe, le remboursement et l'urgence. Chaque sortie est accompagnée d'une probabilité ; le score (ex. 0.815) est une moyenne pondérée par la probabilité, à ne pas confondre avec la confiance.
L'auteur explore la simulation de Jev à l'aide d'un modèle de langage open source et de probabilités de tokens, explique son fonctionnement et présente une démo exécutée avec DiffusionGemma sur Cloudflare Workers AI. Link
Jev vérifie chaque requête avant son envoi à un grand modèle et répartit les tâches vers le modèle approprié en moins d'une seconde, pour presque rien.
Avec un seuil fixé pour qu'au plus 1 réponse sur 100 laissée passer soit erronée, Jev laisse passer 93 % des réponses sans vérification humaine, contre 66 % pour OpenAI ; les grands modèles généralistes atteignent 98 % mais sont 10 fois plus lents.
hev mind estime que garder la moitié du benchmark privé permet au classement de refléter les compétences réelles plutôt que des réponses mémorisées, et que c'est la bonne décision. Link