Nächtliche Self-Verification

Konfigurationen

• Baseline: Vollständige Daten — Name, Entity-Typ, Geburtsdatum, Nationalität. Testet das System unter idealen Bedingungen.
• Ohne Entity-Typ: Testet die Robustheit, wenn der Typ unbekannt ist — ein häufiges Praxisszenario beim Screening unstrukturierter Daten.
• Ohne tertiäre Daten: Testet die Matching-Stärke nur anhand des Namens. Die Baseline für jedes System, das einen Namen ohne biografischen Kontext erhält.
• Produktionsmodus: Bewertet Ergebnisse mit den DOB-Rescue-Schwellenwerten der Produktionsumgebung neu. Testet, ob Entities, die den Schwellenwert in der Baseline knapp verfehlen, durch den DOB-Rescue-Pass des Live-Screenings wiedergefunden werden.
• Ohne ML: Deaktiviert den Machine-Learning-Override vollständig. Isoliert die Leistung der heuristischen Pipeline — den Score-Floor ohne ML-Unterstützung.
• Cross-Source-Validierung: Screent die Entities jeder Quelle gegen alle anderen Quellen gleichzeitig. Testet, ob eine Listung auf einer Liste über den Eintrag einer anderen Liste für denselben Akteur erkennbar ist.

Mutationsstufen:

• M0 — Unverändert: Originalname, wie er auf der Liste erscheint. Muss vollständigen Recall erreichen. Jeder Miss bei M0 ist ein kritischer Fehler.
• M1 — Eine Mutation: Zufälliger Zeichentausch, Auslassung, Einfügung, Ersetzung, Diakritikaänderung oder Transliteration. Modelliert einen einzelnen Transkriptionsfehler oder eine abweichende Schreibweise.
• M2 — Zwei Mutationen: Zwei Mutationen gleichzeitig angewendet. Testet die Degradationskurve — wie schnell der Recall fällt, wenn die Eingabequalität sinkt.
• M3 — Name Reorder: Token-Reihenfolge wird umgekehrt oder erste und letzte Token werden vertauscht. Testet die Robustheit bei Umordnung von Namensbestandteilen — eine häufige Variante, wenn Namen kulturelle Konventionen kreuzen (Vorname zuerst vs. Nachname zuerst).
• M4 — Partial Name: Nur das erste oder letzte Token wird beibehalten, simuliert unvollständige Namenseingabe. Testet, ob das System einen Kandidaten noch finden kann, wenn nur ein Fragment des vollständigen Namens vorliegt.

Jede Mutation wird deterministisch geseedet. Jeder False Negative ist rückverfolgbar bis zur exakten Mutation, die ihn verursacht hat.

• True Positive Rate (Recall): Anteil der Entities, die sich selbst als Top-Ergebnis finden. Die primäre Metrik. M0-Recall muss 100 % betragen.
• Mean Reciprocal Rank: An welcher Position erscheint die Entity in ihren eigenen Top-5-Ergebnissen? Rang 1 ist ideal. Rang 2 oder niedriger flaggt ein Problem.
• Score-Verteilung: Mittelwert, Median und Perzentile über alle Sessions hinweg. Erkennt Drift — einen allmählichen Score-Rückgang, der Recall-Ausfällen vorausgeht.
• False-Negative-Analyse: Jede übersehene Entity wird mit der exakten Mutation und dem tatsächlich zurückgegebenen Top-1-Ergebnis protokolliert. Macht Failure Modes sichtbar und debugbar.
• Wilson-Konfidenzintervalle: Statistische Grenzen für die True Positive Rate bei 95 % Konfidenz. Verhindert überhöhte Zuverlässigkeitsangaben bei kleinen Quellengrößen.

Die Ergebnisse werden nach jedem nächtlichen Zyklus als strukturierter XLSX-Bericht exportiert.