Jevの分類モデルで有効な次トークンを選びC++を書く
TypeSafeのJev決定/分類モデルを使い、各ステップで文法的に有効な次トークンだけを提示してC++コードを生成する実験。
Tesslは自社プロダクションコードで約2,725件のverifierチェックを実行:GPT Luna 6は436秒、Jevはわずか32秒でコストも2.7倍低減。両モデルの判定は85.9%一致。方法とコマンドは公開されています。
What if your review rules ran across your whole codebase in 32 seconds? We ran about 2,725 verifier checks on our own production code. GPT Luna 6: 436s. Jev: 32s, at 2.7x lower cost. The two judges agreed on 85.9% of decisions. Method and commands: https://tessl.io/blog/jev-is-136x-faster-and-27x-cheaper-than-gpt-luna-6-for-tessl-verifiers-try-it-yourself…