Comparaison de Jev et Claude Opus 5 sur 3 080 tickets de support. En envoyant uniquement les réponses à faible confiance de Jev à Opus, on obtient une précision de 84,0 % tout en restant 3,5 fois moins cher qu'Opus seul. Discussion sur trois stratégies : Opus partout, Jev partout, ou Jev d'abord puis Opus en cas de doute.
Jev vs Claude Opus 5 on 3,080 support tickets. Send only Jev's low-confidence answers to Opus → 84.0% accuracy, still 3.5x cheaper than Opus alone. Which would you ship? 1. Opus for everything 2. Jev for everything 3. Jev first, Opus when unsure #LLM #AIEngineering
L'auteur partage un retour d'expérience sur Jev : cela semblait délicat au début, mais tout s'est éclairé en le comprenant comme « ne pas laisser l'IA écrire le texte ». En prenant le traitement des demandes comme exemple, l'approche classique consiste à tout confier à GPT ou Claude pour analyse, alors que Jev adopte une approche différente.
Le prototype utilise l'IA pour estimer l'hésitation ou l'intérêt à partir des mouvements du curseur ou de l'arrêt avant le clic, en observant le comportement du client et en complétant les explications ou en suggérant des comparaisons.
L'auteur a créé une démo de service client en temps réel pour le e-commerce avec Jev et gpt-live-1, qui suggère instantanément des produits recommandés en fonction de la parole de l'utilisateur pendant la conversation, offrant une excellente expérience.
