Back to explore

Performance de Jev sur le benchmark CLERC

Sur un sous-ensemble de requêtes CLERC, Laya sans fine-tuning a obtenu 2,5 %, sous BM25 (5 %) et FastLate (10 %) ; Jev a atteint 30 %, Luna 22,5 %, et avec un ajustement de prompt, Luna atteint 52,5–55 %.

I ran it on a subset of CLERC queries (recovering a missing citation’s source). Laya, without fine-tuning, scored 2.5% top-1, below BM25 (5%) and FastLate (10%). Jev 30%, Luna 22.5% , with bit of prompt tuning Luna gets 52.5–55%,

Performance de Jev sur le benchmark CLERC 1
· 0 likesOpen on X