Back to explore

ANN-Deduplizierungsexperiment mit Jev: Qualität verbessert, aber teuer

Jonathan Ellis teilt sein ANN-basiertes Deduplizierungsexperiment, bei dem Jev Top-k-Kandidaten klassifiziert. Vorteile: etwa 10k Zeilen Code entfernt und 30 subtile Fehler behoben, die durch fast identische Duplikate verursacht wurden. Nachteile: weder günstig noch schnell; ca. 166 $ API-Kosten für 207M Opus-Tokens und fast 8B Luna-Subagenten-Tokens (über mjolnir).

Results of my ANN-powered deduplication experiment, with top-k candidates classified by Jev. Pro: -10kloc, fixed 30 bugs where one near-duplicate was subtly broken Con: not cheap and not fast. $166 at API pricing for 207M Opus tokens and nearly 8B in Luna subagents (via mjolnir

ANN-Deduplizierungsexperiment mit Jev: Qualität verbessert, aber teuer 1
· 0 likesOpen on X