Scores de précision

La précision mesurée de Cogeto, par version

Name: Cogeto trust scores
Creator: Cogeto

Version actuelle v1.8.02026-08-16

Cogeto publie sa propre précision mesurée pour chaque version, de la même manière qu'un service publie la disponibilité, y compris les chiffres qui ne répondent pas à ses objectifs. Voici les chiffres, et voici les fichiers de données publics qui les sous-tendent. Ne vous fiez pas à ce tableau : vérifiez le fichier.

L'agrégat combine les corpus de chaque langue. Il est présenté sans masquer une langue moins performante dans une moyenne : utilisez le sélecteur pour consulter chaque langue séparément.

Chaque seuil minimal correspond à la valeur réellement atteinte par la métrique, jamais à un objectif encore hors d'atteinte, et ne peut qu'augmenter. Les seuils s'appliquent à chaque langue et à l'agrégat ; celui affiché dépend donc de la langue sélectionnée.

Scores actuels

Qualité de l'extraction et du rapprochement pour la configuration du modèle et le langage sélectionnés, mesurée par rapport à un corpus doré étiqueté à la main.

Scores for configuration mistral-default, Agrégat, v1.8.0
Métrique	Agrégat	Seuil CI
	84.1%	Seuil CI ≥ 77% Seuil CI: pass
	94.6%	Seuil CI ≥ 91% Seuil CI: pass
	91.9%	Seuil CI ≥ 86% Seuil CI: pass
	94.4%	Seuil CI ≥ 92% Seuil CI: pass
	81.3%	Seuil CI ≥ 54% Seuil CI: pass
	92.9%	Seuil CI ≥ 83% Seuil CI: pass
	66.7%9 paires	Seuil CI ≥ 50% Seuil CI: pass
	90.6%	Seuil CI ≥ 81% Seuil CI: pass

Suite de discussion

Cas de questions et réponses de bout en bout. Une réussite signifie que la réponse était fondée sur les bons faits du corpus. Les identifiants de cas défaillants sont publiés et non masqués.

32/35cas réussis

Identifiants des cas en échec : atlas_scope, strict_mode_hr, who_is_ana

Évolution

Les dix versions les plus récentes depuis la série v1, de la plus ancienne à la plus récente, sur un axe de 0 à 100 %. L'historique complet reste publié dans le dépôt. La ligne pointillée représente le seuil d'intégration continue qu'une version doit franchir avant publication.

Mesuré à la versionReconstitué: transcrit à partir d'exécutions enregistrées, plutôt que produit par le banc d'évaluation lors de la publication.Seuil CI

Précision d'extraction84.1%

Rappel d'extraction94.6%

Accord de vérification91.9%

Précision de la déduplication94.4%

Précision des contradictions81.3%

Rappel de contradiction92.9%

Précision des remplacements66.7%

Précision du routage de réécriture des requêtes90.6%

Trend data for configuration mistral-default, Agrégat, all releases
Version	Précision d'extraction	Rappel d'extraction	Accord de vérification	Précision de la déduplication	Précision des contradictions	Rappel de contradiction	Précision des remplacements	Précision du routage de réécriture des requêtes
v1.1.0	78.9%	93.3%	86.5%	92.9%	non mesuré	100%	non mesuré	non mesuré
v1.2.0	79.2%	91.3%	89.2%	92.9%	non mesuré	100%	non mesuré	non mesuré
v1.3.0	79.6%	92%	86.9%	92.9%	non mesuré	100%	non mesuré	non mesuré
v1.4.0	81.3%	93.8%	92.9%	92.9%	non mesuré	100%	non mesuré	non mesuré
v1.4.1	78.9%	91.1%	83.3%	92.9%	66.7%	100%	75%	90.6%
v1.4.2-local	78.9%	91.1%	83.3%	92.9%	66.7%	100%	75%	90.6%
v1.5.0	82.7%	93.9%	92.6%	94.4%	75%	100%	75%	90.6%
v1.6.0	82.3%	90.4%	91.7%	94.4%	82.4%	100%	66.7%	84.4%
v1.7.1	84.2%	95.8%	88.9%	94.4%	81.3%	92.9%	66.7%	90.6%
v1.8.0	84.1%	94.6%	91.9%	94.4%	81.3%	92.9%	66.7%	90.6%

Notes des versions

v1.4.2-localOuvrez le fichier JSON
- Self-hosted configuration measurement (llama.cpp ff711 + bge-m3 on the operator's own hardware), thinking suppressed on every call. Advisory against the Mistral-measured gates: contradiction recall and query-rewrite accuracy sit below their floors; both zero-tolerance gates (injection, subject) pass. Not a release measurement.

Provenance

Chaque version, avec le commit exact auquel elle a été mesurée, la version du harnais, les tailles du corpus et un lien direct vers son fichier JSON immuable. Les fichiers publiés ne sont jamais modifiés après leur publication. Lisez les données, pas notre résumé.

v1.8.02026-08-16Ouvrez le fichier JSON 4e9e590862
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 anglais, 52 croate) · 54 reconciliation pairs · 35 chat cases
v1.7.12026-08-14Ouvrez le fichier JSON 67f8e10bba
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 anglais, 52 croate) · 54 reconciliation pairs · 35 chat cases
v1.6.02026-08-12Ouvrez le fichier JSON ffa3e4b27b
Harness
extraction/v0006 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0002 · query_rewrite/v0006 · thresholds v1 + chat answer/v0009 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 102 golden cases (50 anglais, 52 croate) · 54 reconciliation pairs · 35 chat cases
v1.5.02026-08-05Ouvrez le fichier JSON 0c5f8cc1a2
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 98 golden cases (48 anglais, 50 croate) · 33 reconciliation pairs · 24 chat cases
v1.4.2-local2026-08-05Ouvrez le fichier JSON be2254dc6e
Harness
extraction/v0005 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration cogeto-offline
Models: pipeline cogeto, answer cogeto, embedding bge-m3
Corpus: 98 golden cases (48 anglais, 50 croate) · 33 reconciliation pairs · 24 chat cases
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 anglais, 44 croate) · 29 reconciliation pairs · 24 chat cases
v1.4.12026-08-01Ouvrez le fichier JSON 30d97a1007
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · query_rewrite/v0006 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 anglais, 44 croate) · 29 reconciliation pairs · 24 chat cases
v1.4.02026-07-31Ouvrez le fichier JSON eca1222b3b
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 anglais, 44 croate) · 20 reconciliation pairs · 24 chat cases
v1.3.02026-07-30Ouvrez le fichier JSON 5bf26124c0
Harness
extraction/v0004 + verification/v0006 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 86 golden cases (42 anglais, 44 croate) · 20 reconciliation pairs · 24 chat cases
v1.2.02026-07-29Ouvrez le fichier JSON b423be0131
Harness
extraction/v0002 + verification/v0004 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0007 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 76 golden cases (37 anglais, 39 croate) · 20 reconciliation pairs · 24 chat cases
v1.1.02026-07-25Ouvrez le fichier JSON 0b8c0def1a
Harness
extraction/v0002 + verification/v0004 · reconcile_dedup/v0001 + reconcile_contradiction/v0001 · thresholds v1 + chat answer/v0006 · grader eval-coverage/v0001
Configuration mistral-default
Models: pipeline mistral-small-latest, answer mistral-medium-latest, embedding mistral-embed
Corpus: 76 golden cases (37 anglais, 39 croate) · 20 reconciliation pairs · 27 chat cases

Parcourez le corpus doré Lire le schéma de données All published releases

Retour à cogeto.eu

Document d'une page sur la conformité Source sur GitHub