Back to explore

Jev-Leistung auf dem CLERC-Retrieval-Benchmark

Auf einer Teilmenge von CLERC-Abfragen erzielte Laya ohne Feintuning 2,5 %, unter BM25 (5 %) und FastLate (10 %); Jev erreichte 30 %, Luna 22,5 %, und mit Prompt-Tuning erreicht Luna 52,5–55 %.

I ran it on a subset of CLERC queries (recovering a missing citation’s source). Laya, without fine-tuning, scored 2.5% top-1, below BM25 (5%) and FastLate (10%). Jev 30%, Luna 22.5% , with bit of prompt tuning Luna gets 52.5–55%,

Jev-Leistung auf dem CLERC-Retrieval-Benchmark 1
· 0 likesOpen on X