Jev, 이메일 분류 벤치마크에서 Gemini에 패배했지만 프로덕션 도입 검토
저자는 산업 공급업체의 독일어 및 영어 비즈니스 이메일 1,565건을 10개 카테고리로 분류하는 벤치마크에서 Jev를 테스트했으며, Gemini보다 정확도가 낮았지만 오류가 발생한 지점에 주목하고 여전히 프로덕션 도입을 고려하고 있다.
Twenty는 Jev가 AI를 채팅 창에서 핵심 전체로 확장하여, 이전에 수동 규칙에 의존하던 이메일 동기화 및 워크플로 조건에서도 AI를 활용할 수 있게 된다고 밝혔습니다.
Jev moves AI from the chat window into the core of Twenty. Until now, AI in Twenty meant the chat and agents. Everything automatic, like email sync or workflow conditions, still follows rules we wrote by hand, because an LLM on every synced email is too slow and too expensive.