Genauigkeitswerte

Die gemessene Genauigkeit von Cogeto, je Release

Name: Cogeto trust scores
Creator: Cogeto

Aktuelles Release v1.19.02026-09-03

Cogeto veröffentlicht für jedes Release die eigene gemessene Genauigkeit, so wie ein Dienst seine Verfügbarkeit veröffentlicht, einschließlich der Zahlen, die ihre Zielwerte verfehlen. Die Zahlen werden beim Build direkt aus den Datendateien je Release gelesen, auch die, die sich in die falsche Richtung bewegt haben.

Gesamt mischt die Korpora der einzelnen Sprachen. Es wird gezeigt, damit sich eine schwache Sprache nie in einem Durchschnitt verstecken kann: Stellen Sie den Wahlschalter um, um jede Sprache einzeln zu lesen.

Jede Gate-Untergrenze liegt beim ehrlichen aktuellen Wert der Metrik, nie bei einem Ziel, das das Projekt noch nicht erreicht hat, und Untergrenzen werden nur angehoben, nie gesenkt. Sie gelten je Sprache wie auch im Gesamtwert, das hier gezeigte Gate ändert sich deshalb mit der gewählten Sprache.

cogeto-default wurde in 1 von 10 geladenen Releases gemessen, erstmals in v1.19.0.

Aktuelle Werte

Extraktions- und Abgleichqualität für die gewählte Modellkonfiguration und Sprache, gemessen an einem von Hand annotierten Goldstandard-Korpus.

Scores for configuration cogeto-default, Gesamt, v1.19.0
Metrik	Gesamt	CI-Gate
	97.7%	CI-Gate ≥ 77% CI-Gate: pass
	100%	CI-Gate ≥ 91% CI-Gate: pass
	100%	CI-Gate ≥ 86% CI-Gate: pass
	100%	CI-Gate ≥ 92% CI-Gate: pass
	95.5%	CI-Gate ≥ 54% CI-Gate: pass
	100%	CI-Gate ≥ 83% CI-Gate: pass
	77.6%9 Paare	CI-Gate ≥ 50% CI-Gate: pass
	100%	CI-Gate ≥ 81% CI-Gate: pass

Chat-Testsuite

Frage-Antwort-Fälle von Ende zu Ende. Bestanden heißt: Die Antwort war in den richtigen Fakten aus dem Korpus verankert. Die IDs durchgefallener Fälle werden veröffentlicht, nicht versteckt.

32/35Fälle bestehen

IDs fehlgeschlagener Fälle: changed_since, strict_mode_hr, who_is_ana

Verläufe

Die zehn neuesten Releases ab der v1-Linie, vom ältesten zum neuesten, auf einer ehrlichen Achse von 0 bis 100 Prozent. Die vollständige Historie bleibt erhalten, und jedes Release ist nach der Veröffentlichung unveränderlich. Die gestrichelte Linie ist das CI-Gate, das ein Release zum Ausliefern bestehen muss.

Beim Release gemessenNachgetragen: aus aufgezeichneten läufen übertragen statt zum release-zeitpunkt vom harness erzeugt.CI-Gate

Extraktions-Precision97.7%

Extraktions-Recall100%

Verifikationsübereinstimmung100%

Deduplizierungsgenauigkeit100%

Widerspruchs-Precision95.5%

Widerspruchs-Recall100%

Ablösungsgenauigkeit77.6%

Genauigkeit des Query-Rewrite-Routings100%

Trend data for configuration cogeto-default, Gesamt, all releases
Release	Extraktions-Precision	Extraktions-Recall	Verifikationsübereinstimmung	Deduplizierungsgenauigkeit	Widerspruchs-Precision	Widerspruchs-Recall	Ablösungsgenauigkeit	Genauigkeit des Query-Rewrite-Routings
v1.3.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.4.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.4.1	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.4.2-local	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.5.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.6.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.7.1	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.8.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.9.0	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen	nicht gemessen
v1.19.0	97.7%	100%	100%	100%	95.5%	100%	77.6%	100%

Anmerkungen aus den Releases

v1.4.2-local
- Self-hosted configuration measurement (llama.cpp ff711 + bge-m3 on the operator's own hardware), thinking suppressed on every call. Advisory against the Mistral-measured gates: contradiction recall and query-rewrite accuracy sit below their floors; both zero-tolerance gates (injection, subject) pass. Not a release measurement.

Provenienz

Jedes Release mit dem exakten Commit, an dem gemessen wurde, der Version des Evaluations-Harness und den Korpusgrößen. Veröffentlichte Dateien werden nach dem Release nie bearbeitet, jede Zahl hier lässt sich also auf den Stand zurückführen, an dem sie gemessen wurde.

v1.19.02026-09-03b4fc62ca6c
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration cogeto-default
Models: pipeline cogeto-core, answer cogeto-fast, embedding cogeto-embed
Corpus: 102 golden cases (50 englisch, 52 kroatisch) · 54 reconciliation pairs · 35 chat cases
v1.9.02026-08-201c6a5990c0
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 englisch, 52 kroatisch) · 54 reconciliation pairs · 35 chat cases
v1.8.02026-08-164e9e590862
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 englisch, 52 kroatisch) · 54 reconciliation pairs · 35 chat cases
v1.7.12026-08-1467f8e10bba
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 englisch, 52 kroatisch) · 54 reconciliation pairs · 35 chat cases
v1.6.02026-08-12ffa3e4b27b
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 englisch, 52 kroatisch) · 54 reconciliation pairs · 35 chat cases
v1.5.02026-08-050c5f8cc1a2
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 98 golden cases (48 englisch, 50 kroatisch) · 33 reconciliation pairs · 24 chat cases
v1.4.2-local2026-08-05be2254dc6e
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration cogeto-offline
Models: pipeline cogeto, answer cogeto, embedding bge-m3
Corpus: 98 golden cases (48 englisch, 50 kroatisch) · 33 reconciliation pairs · 24 chat cases
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 englisch, 44 kroatisch) · 29 reconciliation pairs · 24 chat cases
v1.4.12026-08-0130d97a1007
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 englisch, 44 kroatisch) · 29 reconciliation pairs · 24 chat cases
v1.4.02026-07-31eca1222b3b
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 englisch, 44 kroatisch) · 20 reconciliation pairs · 24 chat cases
v1.3.02026-07-305bf26124c0
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 englisch, 44 kroatisch) · 20 reconciliation pairs · 24 chat cases

Zurück zu cogeto.eu

Compliance-Onepager