Rezultati točnosti

Izmjerena točnost Cogeta, po izdanju

Name: Cogeto trust scores
Creator: Cogeto

Trenutačno izdanje v1.8.02026-08-16

Cogeto za svako izdanje objavljuje vlastitu izmjerenu točnost, jednako kao što servis objavljuje dostupnost, uključujući brojeve koji ne dosežu ciljeve. Ovdje su brojevi, a ovdje su i javne podatkovne datoteke iza njih. Ne vjerujte ovom grafikonu: provjerite datoteku.

Zbirni prikaz spaja korpuse po jezicima. Prikazan je zato da se slabiji jezik nikad ne može sakriti u prosjeku: prebacite odabir i pročitajte svaki jezik zasebno.

Svaki prag postavljen je na iskrenu trenutačnu vrijednost metrike, nikad na cilj koji projekt nije dosegnuo, i pragovi se pomiču samo naviše. Vrijede po jeziku kao i zbirno, pa se prag koji ovdje vidite mijenja s jezikom koji odaberete.

Trenutačni rezultati

Kvaliteta ekstrakcije i usklađivanja za odabranu konfiguraciju modela i jezik, izmjerena na ručno označenom zlatnom korpusu.

Scores for configuration mistral-default, Zbirno, v1.8.0
Metrika	Zbirno	CI prag
	84.1%	CI prag ≥ 77% CI prag: pass
	94.6%	CI prag ≥ 91% CI prag: pass
	91.9%	CI prag ≥ 86% CI prag: pass
	94.4%	CI prag ≥ 92% CI prag: pass
	81.3%	CI prag ≥ 54% CI prag: pass
	92.9%	CI prag ≥ 83% CI prag: pass
	66.7%9 parova	CI prag ≥ 50% CI prag: pass
	90.6%	CI prag ≥ 81% CI prag: pass

Razgovorni skup

Cjeloviti slučajevi pitanja i odgovora. Prolaz znači da je odgovor bio utemeljen na pravim činjenicama iz korpusa. Identifikatori palih slučajeva objavljuju se, ne skrivaju.

32/35slučajeva prolazi

Identifikatori palih slučajeva: atlas_scope, strict_mode_hr, who_is_ana

Trendovi

Deset najnovijih izdanja od linije v1 nadalje, od najstarijeg do najnovijeg, na iskrenoj osi od 0 do 100 posto. Cjelovita povijest ostaje objavljena u repozitoriju. Isprekidana linija prag je kontinuirane integracije koji izdanje mora prijeći da bi izašlo.

Mjereno pri izdanjuNaknadno uneseno: prepisano iz zabilježenih mjerenja, a ne izdano iz mjernog okvira u trenutku izdanja.CI prag

Preciznost ekstrakcije84.1%

Odziv ekstrakcije94.6%

Slaganje provjere91.9%

Točnost uklanjanja duplikata94.4%

Preciznost proturječnosti81.3%

Odziv proturječnosti92.9%

Točnost zamjena66.7%

Točnost usmjeravanja preoblikovanih upita90.6%

Trend data for configuration mistral-default, Zbirno, all releases
Izdanje	Preciznost ekstrakcije	Odziv ekstrakcije	Slaganje provjere	Točnost uklanjanja duplikata	Preciznost proturječnosti	Odziv proturječnosti	Točnost zamjena	Točnost usmjeravanja preoblikovanih upita
v1.1.0	78.9%	93.3%	86.5%	92.9%	nije mjereno	100%	nije mjereno	nije mjereno
v1.2.0	79.2%	91.3%	89.2%	92.9%	nije mjereno	100%	nije mjereno	nije mjereno
v1.3.0	79.6%	92%	86.9%	92.9%	nije mjereno	100%	nije mjereno	nije mjereno
v1.4.0	81.3%	93.8%	92.9%	92.9%	nije mjereno	100%	nije mjereno	nije mjereno
v1.4.1	78.9%	91.1%	83.3%	92.9%	66.7%	100%	75%	90.6%
v1.4.2-local	78.9%	91.1%	83.3%	92.9%	66.7%	100%	75%	90.6%
v1.5.0	82.7%	93.9%	92.6%	94.4%	75%	100%	75%	90.6%
v1.6.0	82.3%	90.4%	91.7%	94.4%	82.4%	100%	66.7%	84.4%
v1.7.1	84.2%	95.8%	88.9%	94.4%	81.3%	92.9%	66.7%	90.6%
v1.8.0	84.1%	94.6%	91.9%	94.4%	81.3%	92.9%	66.7%	90.6%

Bilješke iz izdanja

v1.4.2-localOtvorite JSON datoteku
- Self-hosted configuration measurement (llama.cpp ff711 + bge-m3 on the operator's own hardware), thinking suppressed on every call. Advisory against the Mistral-measured gates: contradiction recall and query-rewrite accuracy sit below their floors; both zero-tolerance gates (injection, subject) pass. Not a release measurement.

Podrijetlo

Svako izdanje, s točnim commitom na kojem je mjereno, verzijom mjernog okvira, veličinama korpusa i izravnom poveznicom na njegovu nepromjenjivu JSON datoteku. Objavljene datoteke nikad se ne uređuju nakon izdanja. Čitajte podatke, ne naš sažetak podataka.

v1.8.02026-08-16Otvorite JSON datoteku 4e9e590862
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases
v1.7.12026-08-14Otvorite JSON datoteku 67f8e10bba
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases
v1.6.02026-08-12Otvorite JSON datoteku ffa3e4b27b
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 engleski, 52 hrvatski) · 54 reconciliation pairs · 35 chat cases
v1.5.02026-08-05Otvorite JSON datoteku 0c5f8cc1a2
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 98 golden cases (48 engleski, 50 hrvatski) · 33 reconciliation pairs · 24 chat cases
v1.4.2-local2026-08-05Otvorite JSON datoteku be2254dc6e
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration cogeto-offline
Models: pipeline cogeto, answer cogeto, embedding bge-m3
Corpus: 98 golden cases (48 engleski, 50 hrvatski) · 33 reconciliation pairs · 24 chat cases
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 29 reconciliation pairs · 24 chat cases
v1.4.12026-08-01Otvorite JSON datoteku 30d97a1007
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 29 reconciliation pairs · 24 chat cases
v1.4.02026-07-31Otvorite JSON datoteku eca1222b3b
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 20 reconciliation pairs · 24 chat cases
v1.3.02026-07-30Otvorite JSON datoteku 5bf26124c0
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 engleski, 44 hrvatski) · 20 reconciliation pairs · 24 chat cases
v1.2.02026-07-29Otvorite JSON datoteku b423be0131
Harness
extraction/v0002 + verification/v0004 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 76 golden cases (37 engleski, 39 hrvatski) · 20 reconciliation pairs · 24 chat cases
v1.1.02026-07-25Otvorite JSON datoteku 0b8c0def1a
Harness
extraction/v0002 + verification/v0004 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0006 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 76 golden cases (37 engleski, 39 hrvatski) · 20 reconciliation pairs · 27 chat cases

Pregledajte zlatni korpus Pročitajte shemu podataka All published releases

Natrag na cogeto.eu

Jednostranični sažetak usklađenosti Izvorni kod na GitHubu