Preskoči na sadržaj

Rezultati točnosti

Izmjerena točnost Cogeta, po izdanju

Trenutačno izdanje v1.19.02026-09-03

Cogeto za svako izdanje objavljuje vlastitu izmjerenu točnost, jednako kao što servis objavljuje dostupnost, uključujući brojeve koji ne dosežu ciljeve. Brojevi se pri gradnji čitaju izravno iz podatkovnih datoteka po izdanju, uključujući one koji su otišli u krivom smjeru.

Konfiguracija modela
Jezik
Usporedba

Zbirni prikaz spaja korpuse po jezicima. Prikazan je zato da se slabiji jezik nikad ne može sakriti u prosjeku: prebacite odabir i pročitajte svaki jezik zasebno.

Svaki prag postavljen je na iskrenu trenutačnu vrijednost metrike, nikad na cilj koji projekt nije dosegnuo, i pragovi se pomiču samo naviše. Vrijede po jeziku kao i zbirno, pa se prag koji ovdje vidite mijenja s jezikom koji odaberete.

cogeto-default je mjerena u 1 od 10 učitanih izdanja, prvi put u v1.19.0.

Trenutačni rezultati

Kvaliteta ekstrakcije i usklađivanja za odabranu konfiguraciju modela i jezik, izmjerena na ručno označenom zlatnom korpusu.

Scores for configuration cogeto-default, Zbirno, v1.19.0
MetrikaZbirno
97.7%
100%
100%
100%
95.5%
100%
77.6%9 parova
100%

Razgovorni skup

Cjeloviti slučajevi pitanja i odgovora. Prolaz znači da je odgovor bio utemeljen na pravim činjenicama iz korpusa. Identifikatori palih slučajeva objavljuju se, ne skrivaju.

32/35slučajeva prolazi

Identifikatori palih slučajeva: changed_since, strict_mode_hr, who_is_ana

Trendovi

Deset najnovijih izdanja od linije v1 nadalje, od najstarijeg do najnovijeg, na iskrenoj osi od 0 do 100 posto. Cjelovita povijest se čuva, a svako izdanje ostaje nepromjenjivo nakon objave. Isprekidana linija prag je kontinuirane integracije koji izdanje mora prijeći da bi izašlo.

Mjereno pri izdanjuNaknadno uneseno: prepisano iz zabilježenih mjerenja, a ne izdano iz mjernog okvira u trenutku izdanja.CI prag
Preciznost ekstrakcije97.7%
Odziv ekstrakcije100%
Slaganje provjere100%
Točnost uklanjanja duplikata100%
Preciznost proturječnosti95.5%
Odziv proturječnosti100%
Točnost zamjena77.6%
Točnost usmjeravanja preoblikovanih upita100%
Trend data for configuration cogeto-default, Zbirno, all releases
IzdanjePreciznost ekstrakcijeOdziv ekstrakcijeSlaganje provjereTočnost uklanjanja duplikataPreciznost proturječnostiOdziv proturječnostiTočnost zamjenaTočnost usmjeravanja preoblikovanih upita
v1.3.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.4.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.4.1nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.4.2-localnije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.5.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.6.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.7.1nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.8.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.9.0nije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjerenonije mjereno
v1.19.097.7%100%100%100%95.5%100%77.6%100%

Bilješke iz izdanja

  • v1.4.2-local
    • Self-hosted configuration measurement (llama.cpp ff711 + bge-m3 on the operator's own hardware), thinking suppressed on every call. Advisory against the Mistral-measured gates: contradiction recall and query-rewrite accuracy sit below their floors; both zero-tolerance gates (injection, subject) pass. Not a release measurement.

Podrijetlo

Svako izdanje, s točnim commitom na kojem je mjereno, verzijom mjernog okvira i veličinama korpusa. Objavljene datoteke nikad se ne uređuju nakon izdanja, pa se svaki broj ovdje uvijek može pratiti do stabla na kojem je izmjeren.

  • v1.19.02026-09-03b4fc62ca6c
    Harness
    extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
    Configuration cogeto-default

    Models: pipeline cogeto-core, answer cogeto-fast, embedding cogeto-embed

    Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases

  • v1.9.02026-08-201c6a5990c0
    Harness
    extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases

  • v1.8.02026-08-164e9e590862
    Harness
    extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases

  • v1.7.12026-08-1467f8e10bba
    Harness
    extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases

  • v1.6.02026-08-12ffa3e4b27b
    Harness
    extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases

  • v1.5.02026-08-050c5f8cc1a2
    Harness
    extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 98 golden cases (48 engleski, 50 hrvatski) · 33 reconciliation pairs · 24 chat cases

  • v1.4.2-local2026-08-05be2254dc6e
    Harness
    extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
    Configuration cogeto-offline

    Models: pipeline cogeto, answer cogeto, embedding bge-m3

    Corpus: 98 golden cases (48 engleski, 50 hrvatski) · 33 reconciliation pairs · 24 chat cases

    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 29 reconciliation pairs · 24 chat cases

  • v1.4.12026-08-0130d97a1007
    Harness
    extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 29 reconciliation pairs · 24 chat cases

  • v1.4.02026-07-31eca1222b3b
    Harness
    extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 20 reconciliation pairs · 24 chat cases

  • v1.3.02026-07-305bf26124c0
    Harness
    extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
    Configuration mistral-default

    Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed

    Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 20 reconciliation pairs · 24 chat cases

Natrag na cogeto.eu
Jednostranični sažetak usklađenosti