Back to explore

Expérience de déduplication ANN avec Jev : qualité améliorée, coût élevé

Jonathan Ellis partage son expérience de déduplication basée sur ANN, avec Jev pour classer les candidats top-k. Résultats : environ 10k lignes de code supprimées et 30 bugs subtils corrigés liés aux quasi-doublons. Inconvénients : coût élevé et lenteur, ~166 $ en tarification API pour 207M tokens Opus et près de 8B tokens subagents Luna (via mjolnir).

Results of my ANN-powered deduplication experiment, with top-k candidates classified by Jev. Pro: -10kloc, fixed 30 bugs where one near-duplicate was subtly broken Con: not cheap and not fast. $166 at API pricing for 207M Opus tokens and nearly 8B in Luna subagents (via mjolnir

Expérience de déduplication ANN avec Jev : qualité améliorée, coût élevé 1
· 0 likesOpen on X