Softwarequalität: der Nachweis, der zählt

Avatar
Autor

Nachweise zur Softwarequalität sind nicht dasselbe wie ein Testprogramm, und dieser Unterschied ist genau das, was die erste ernsthafte Aufsichtsprüfung offenlegt. Die meisten regulierten Finanzinstitute haben QA-Ingenieure, Testsuiten, CI/CD-Pipelines und Dashboards, die grün leuchten. Deutlich weniger haben Nachweise.

Ein Testprogramm sagt Ihnen, ob die Software funktioniert. Der Nachweis sagt einer Aufsichtsbehörde, einem Prüfer oder einer nationalen zuständigen Behörde, dass die richtigen Systeme auf die richtige Weise zur richtigen Zeit mit der richtigen Aufsicht getestet wurden und dass die Ergebnisse von Personen geprüft wurden, die befugt sind, ihre Angemessenheit zu bestätigen. Die Compliance-Kosten in regulierten Branchen sitzen überwiegend in dieser Lücke und nicht im Testen selbst.

Im Folgenden legen wir dar, was diese Lücke ist, was sie kostet, warum sie bestehen bleibt und was ihr Schließen tatsächlich verlangt.

Klassifikation
Ohne unangemessene Verzögerung, binnen 24 Std. nach
4 Stunden
Erstmeldung, gerechnet ab Klassifizierung als schwerwiegend
72 Stunden
Zwischenbericht mit Umfang, Eindämmung und Fortschritt der Ursachenanalyse
1 Monat
Abschlussbericht mit vollständiger Ursache und Behebung

Was die Aufsicht verlangt und eine Testsuite nicht beantwortet

DORA ging 2026 von der Vorbereitung in die aktive Aufsichtsprüfung über, was diesen Unterschied sichtbar machte wie nie zuvor. Die nationalen zuständigen Behörden prüfen nicht mehr, ob Institute ein Testprogramm haben. Sie prüfen, ob dieses Programm Aufzeichnungen erzeugt, die einer Prüfung standhalten.

Eine Anfrage legt die Lücke deutlicher offen als jede andere, und Aufsichtsbehörden stellen sie inzwischen in verschiedenen Formulierungen: legen Sie die Nachweise über Resilienztests für Ihre drei kritischsten IKT-Systeme vor. Nicht die Testergebnisse. Eine vollständige, nachvollziehbare Aufzeichnung darüber, was getestet wurde, warum, wann, von wem, mit welchem Ergebnis und wer bestätigt hat, dass das Ergebnis angemessen war. Kapitel IV der Verordnung (EU) 2022/2554Artikel 24 bis 27, ist die Rechtsgrundlage.

In Instituten mit ausgereifter Nachweisinfrastruktur ist diese Anfrage in Minuten erledigt. Wo gut getestet wird, die Nachweisebene aber aus CI/CD-Logs und Tabellen zusammengesetzt wurde, löst dieselbe Anfrage Tage manueller Arbeit aus. Ergebnisse kommen unvollständig und uneinheitlich formatiert, was ein zweites Problem schafft: eine Aufsichtsbehörde, die ein hastig gebautes Paket liest, bewertet nun die Praxis des Nachweismanagements neben der Testpraxis.

Die Anfrage lautet nicht „zeigen Sie mir Ihre Tests". Sie lautet „zeigen Sie mir, dass die richtigen Tests stattgefunden haben und dass eine verantwortliche Person sie für ausreichend erklärt hat".

Warum die Lücke bei Nachweisen zur Softwarequalität entsteht

Die Lücke ist keine Nachlässigkeit. Sie ist das vorhersehbare Ergebnis davon, wie Testinfrastruktur entstand, bevor regulatorische Nachweispflichten existierten.

Dafür gebaut
Die technische Frage
Funktioniert die Software? Selenium, JUnit, Playwright und CI/CD-Pipelines beantworten das effizient und liefern Ausführungsprotokolle, Pass- und Fail-Zählungen, Abdeckungsquoten und Stack Traces. Das sind die richtigen Ergebnisse, und die meisten Organisationen haben diese Ebene gut gebaut.
Nicht dafür gebaut
Die regulatorische Frage
Können Sie auf einem Niveau nachweisen, das einer Prüfung standhält, dass kritische IKT-Systeme im Einklang mit Ihren Pflichten getestet wurden, mit angemessener Aufsicht und mit Ergebnissen, die von verantwortlichen Personen geprüft wurden? Eine Abdeckungsquote beantwortet das nicht.
Die zweite Frage braucht eine Ebene, die Tests mit Anforderungen verknüpft, die Freigabekette führt, Aufzeichnungen unveränderlich speichert und sie auf Anfrage zurückgibt. In den meisten Organisationen wurde diese Ebene nie gebaut, von jedem Team anders gebaut oder als manuelle Routine gebaut.

Warum manuelle Nachweisebenen scheitern

Manuelle Prozesse, die von individueller Disziplin abhängen, überleben keine Personalwechsel, keine Teamumbauten und nicht die knappen Fristen einer Aufsichtsanfrage. Sie scheitern zudem lautlos. Niemand merkt, dass die Freigabetabelle im März nicht mehr gepflegt wurde, bis im Oktober jemand die Märzaufzeichnungen verlangt. Genau dieser Abstand zwischen Fehler und Entdeckung macht den manuellen Weg riskanter, als er im Organigramm aussieht.

Was die Lücke bei Nachweisen zur Softwarequalität kostet

Die Kosten treten auf drei Wegen auf, und keiner davon erscheint in einer Budgetzeile namens Testen.

Vorbereitung auf die Aufsicht. Jede Prüfung und jede Anfrage bedeutet, Nachweise dort zusammenzutragen, wo sie gerade liegen, meist über QA, Compliance und die Zeit des CTO selbst. Tage bis Wochen, verbraucht von teuren Personen, wiederkehrend bei jeder regulatorischen Interaktion. Weniger wird es nicht, solange die Infrastruktur bleibt.
Reaktion auf Vorfälle. Einen Vorfall als schwerwiegend zu klassifizieren verlangt zu wissen, welches System betroffen ist, was davon abhängt und was die letzten Tests gezeigt haben. Ein Institut, das das nicht schnell abrufen kann, trifft die Klassifizierungsentscheidung, die die 4-Stunden-Uhr startet, auf unvollständiger Grundlage.
Angehäuftes Aufsichtsrisiko. Ein Institut, das wiederholt unvollständige oder uneinheitliche Aufzeichnungen liefert, baut eine Beziehung, die von Sorge statt von Vertrauen geprägt ist. Das beeinflusst die Intensität künftiger Aufsicht und die Art der Nachfragen. Schwer zu beziffern, und es summiert sich.

Ein vorhersehbarer Termin gehört ebenfalls in den Kalender. Das Informationsregister wird jährlich bis zum 30. April übermittelt, es gibt also mindestens eine Nachweisübung pro Jahr, mit oder ohne angesetzte Prüfung.

Artikelmitte Sind die Testnachweise Ihres Instituts heute prüfungsbereit, und nicht erst nach zwei Wochen Zusammentragen?
Sprechen Sie mit unserem Team

Die vier Anforderungen an eine Infrastruktur für Nachweise zur Softwarequalität

Die Lücke zu schließen ist vor allem eine Architekturentscheidung darüber, wo Nachweise liegen, wer sie verantwortet und wie sie entstehen. Vier Anforderungen leisten die Arbeit.

Anforderung 1
Nachvollziehbarkeit von der Anforderung zum Test
Jeder Testfall verknüpft mit der Anforderung oder IKT-Funktion, die er prüft, als strukturelle Beziehung und nicht als gepflegtes Dokument. Ändern Sie eine Anforderung, und die betroffenen Tests sind sofort erkennbar. Fragt die Aufsicht, welche Tests einen bestimmten Artikel abdecken, braucht die Antwort keinen manuellen Abgleich.
Anforderung 2
Ein geregelter Freigabeprozess
Ein Ausführungsprotokoll allein ist kein Nachweis. Es braucht die Freigabe durch jemanden mit der Befugnis und Verantwortung, die Angemessenheit für den regulatorischen Zweck zu bestätigen. Rollenbasierte Zugriffskontrolle auf die QA-Funktion, mit Freigaben, die mit Zeitstempel, Zuordnung und unveränderlich festgehalten werden.
Anforderung 3
Unveränderliche Speicherung mit Aufbewahrung
Aufzeichnungen so gespeichert, dass sie nachträglich nicht verändert werden können, mit Aufbewahrungsfristen passend zu den Pflichten des Instituts. Ein CI/CD-Log, das nach 90 Tagen rotiert wird, ist kein Nachweis, so gut es den Lauf damals dokumentiert hat.
Anforderung 4
Abrufbarkeit im Aufsichtsformat
Exportierbar als strukturiertes Dokument, das die Anforderung, die Testfälle, die Ausführungsprotokolle, die Freigabekette und das Ergebnis zeigt. Kein Bericht, der auf Anfrage von Hand geschrieben wird, sondern das natürliche Ergebnis eines Systems, das die Information bei der Erfassung strukturiert hat.
Institute, die Notiz zu DORA-Resilienztests. durchführen, haben die erste Anforderung meist teilweise erfüllt. Die meisten Programme brechen dagegen an der Freigabekette.

Ein 90-Tage-Weg zu Nachweisen zur Softwarequalität

Niemand baut eine Nachweisebene in einem Quartal neu. In ein Quartal passt genug Struktur, um die nächste Anfrage zu überstehen, deshalb ist die Reihenfolge unten nach dem geordnet, was das Risiko am schnellsten senkt, und nicht nach dem, was am vollständigsten ist.

Wochen 1 bis 2: drei Systeme auswählen. Nehmen Sie die Systeme, die am ehesten in einer Aufsichtsanfrage auftauchen, also meist jene, die kritische oder wichtige Funktionen stützen. Begrenzen Sie die Übung darauf, statt den gesamten Bestand anzugehen, denn eine vollständige Kette für drei Systeme ist mehr wert als eine unvollständige für dreißig.
Wochen 3 bis 5: den Abruftest machen. Verlangen Sie die Nachweise unangekündigt vom eigenen Team und nehmen Sie die Zeit. Was auch herauskommt, diese Zahl ist das, was eine Aufsichtsbehörde erleben würde. Teams sind regelmäßig überrascht, und die Überraschung ist selbst das Budgetargument.
Wochen 5 bis 8: zuerst die Freigabekette reparieren. Nachvollziehbarkeit ist meist teilweise vorhanden, während Freigabenachweise üblicherweise das fehlende Stück sind. Legen Sie fest, wer freigeben darf, halten Sie es mit Zeitstempel und Identität fest, und akzeptieren Sie keine Freigabe per E-Mail-Thread mehr.

Wochen 8 bis 12: Aufbewahrung und ein echter Probelauf

Aufbewahrung klären. Prüfen Sie, was Ihre CI/CD-Plattform tatsächlich behält und wie lange, und verschieben Sie dann alles, was als Nachweis zählt, in Speicher, der nicht überschrieben werden kann. Das ist oft der günstigste Punkt der Liste und der am häufigsten verschobene.
Ein Paket wirklich erzeugen. Exportieren Sie die vollständige Kette für ein System, als wäre eine Anfrage eingegangen, geben Sie sie dann jemandem außerhalb des QA-Teams und fragen Sie, ob sie die Frage beantwortet. Wenn nicht, haben Sie die Lücke vor der Aufsicht gefunden.

Zwei Gewohnheiten machen danach den Unterschied. Üben Sie den Abruf einmal pro Quartal, denn ein ungetesteter Prozess ist eine Annahme. Und behandeln Sie die jährliche Übermittlung des Informationsregisters als wiederkehrenden Termin, der die Kette aktuell hält, weil eine Ebene, die nur auf Anfrage gepflegt wird, zwischen den Anfragen verfällt.

Unter Druck: was ein schwerwiegender Vorfall offenlegt

Nichts prüft diese Infrastruktur so wie ein Ausfall. Ein kritisches IKT-System fällt aus, das Reaktionsteam aktiviert sich, und die erste Entscheidung ist die Klassifizierung, denn dort startet die 4-Stunden-Uhr.

Wo Testnachweise in die Zeitachse des Vorfalls eintreten
Klassifizieren
Betroffene Kunden, Dauer, geografische Ausbreitung, Datenverluste, Kritikalität, wirtschaftliche Auswirkung
Meldung nach 4 Stunden
Art, betroffene Dienste, vorläufige Auswirkung, Kontaktstelle, getroffene Maßnahmen
Bericht nach 72 Stunden
Umfang, Eindämmung, Fortschritt der Ursachenanalyse und was frühere Tests gezeigt hatten
Die Klassifizierungskriterien stammen aus RTS 2024/1772. Die Testhistorie fließt in alle drei Stufen, weshalb die Abrufzeit mehr zählt als die Schreibzeit des Berichts.

Zwei Institute mit derselben Testsuite verhalten sich hier unterschiedlich. Eines hat die Aufzeichnung zum betroffenen System, den letzten Lauf, die zugehörige Freigabe und die abgedeckten Anforderungen binnen Minuten an einem Ort, sodass die Klassifizierung besser fundiert ist und die Meldung vollständig eintrifft. Beim anderen schickt dieselbe Frage Menschen in CI/CD-Logs, E-Mail-Threads und Tabellen, während die Uhr läuft. Deren Meldung spiegelt am Ende den Zustand der Nachweisinfrastruktur und nicht den Zustand des Testens.

Was Nachweise zur Softwarequalität nicht lösen

Über die Grenzen sollte man deutlich sprechen, denn Nachweisinfrastruktur wird gelegentlich als Compliance-Antwort für sich verkauft.

Eine schwache Testsuite bleibt schwach. Perfekt nachvollziehbare, unveränderlich gespeicherte Aufzeichnungen unzureichender Tests dokumentieren die Unzulänglichkeit mit großer Genauigkeit, die Nachweisebene verbessert also die Darstellung der Arbeit und nicht die Arbeit. Zu entscheiden, welche Systeme kritische oder wichtige Funktionen stützen, bleibt ebenfalls ein internes Urteil, denn diese Einordnung gehört zur eigenen Risikobewertung des Instituts. Bedrohungsgeleitete Penetrationstests behalten ihre eigenen Anforderungen und Frequenz für die erfassten Unternehmen, und keine Nachweisplattform ersetzt sie. Verantwortliche Menschen bleiben ebenso im Ablauf, weil die Freigabe der Teil ist, der sich per Konstruktion nicht automatisieren lässt. Verschwinden dagegen das Zusammentragen, die Uneinheitlichkeit und die Abhängigkeit davon, wer sich gerade erinnert, wo etwas liegt.

Wie Qualigentic die Nachweiskette zur Softwarequalität erzeugt

Qualigentic Qualigentic ist eine agentische QA-Plattform, die um die Nachweisebene herum gebaut ist und nicht um die Menge generierter Tests. Jeder Testfall trägt die Verknüpfung zur Anforderung, die ihn ausgelöst hat. Ausführungsprotokolle sind mit Zeitstempel versehen und unveränderlich. Freigaben laufen über rollenbasierte Workflows, sodass genehmigt, wer dazu befugt ist. Der Export erzeugt strukturierte Dokumente, die für die Lektüre durch die Aufsicht gedacht sind.

Der entscheidende Unterschied: Der Nachweis entsteht laufend, während getestet wird, und wird nicht zusammengesetzt, wenn jemand fragt. Der Betrieb ist on-premise, Aufzeichnungen bleiben also im eigenen Perimeter des Instituts, womit auch die Frage der Datenübermittlung an Dritte entfällt. Ein zeitlich begrenzter Pilot umfasst eine Anwendung und ein Framework und liefert aufsichtstaugliche Nachweise in sechs bis acht Wochen. Unsere Notizen zu KI-gestützter QA in regulierten Branchen und zu den Kosten der Softwarequalität behandeln die Argumente ringsum.

Häufige Fragen

Nachweise zur Softwarequalität und DORA

Was ist der Unterschied zwischen einem Testprogramm und einer Nachweiskette unter DORA?
Ein Testprogramm ist die Menge der Tests, die ein Institut durchführt, um zu prüfen, ob seine IKT-Systeme funktionieren. Eine Nachweiskette ist die strukturierte, prüfbare Aufzeichnung, die jeden Test mit der adressierten Anforderung verbindet, über das Ausführungsprotokoll bis zur Freigabe durch eine verantwortliche Person. Die Aufsicht bewertet die Nachweiskette. Ein Institut kann streng testen und in einer Prüfung dennoch schlecht abschneiden, wenn die Nachweisebene keine Aufzeichnungen im erwarteten Format erzeugt.
Warum haben die meisten Institute eine Lücke zwischen Testen und Nachweis?
Testwerkzeuge wurden für technische Fragen entworfen und liefern daher Protokolle, Pass- und Fail-Aufzeichnungen und Abdeckungsmetriken für den Entwicklungsbetrieb. Die regulatorischen Nachweispflichten kamen erst nach der Einführung dieser Werkzeuge, und die Nachweisebene wurde meist als manuelle Routine obendrauf gesetzt. Manuelle Routinen, die von individueller Disziplin abhängen, skalieren nicht und überleben keine Personalwechsel.

Aufsichtsanfragen und Vorfälle

Wie sieht eine Aufsichtsanfrage nach Nachweisen über Resilienztests aus?
Aufsichtsbehörden verlangen typischerweise eine vollständige, nachvollziehbare Aufzeichnung der Resilienztests für die als kritisch benannten IKT-Systeme, mit Angabe, welche Systeme gegen welche Anforderungen wann mit welchem Ergebnis getestet wurden und wer dieses Ergebnis freigegeben hat. Die Aufzeichnung muss strukturiert, zuordenbar und auf Anfrage abrufbar sein. Sie nach Eingang der Anfrage aus CI/CD-Logs und Tabellen zusammenzubauen ist erheblicher Aufwand und wirkt auf das Nachweismanagement des Instituts zurück, nicht nur auf sein Testen.
Wie funktioniert die 4-Stunden-Uhr von DORA?
Die Erstmeldung ist binnen 4 Stunden nach Klassifizierung des Vorfalls als schwerwiegend fällig und in jedem Fall nicht später als 24 Stunden nach Kenntnisnahme. Die Klassifizierung selbst muss ohne unangemessene Verzögerung erfolgen. Weil sie davon abhängt, das betroffene System, seine Abhängigkeiten und seine jüngste Testhistorie zu kennen, liegt der Nachweisabruf vor der 4-Stunden-Uhr und nicht in ihr.

Werkzeuge und Betrieb

Wie schließt Qualigentic die Lücke in der Nachweisinfrastruktur?
Qualigentic erzeugt eine strukturierte Nachweiskette als Teil des normalen Plattformbetriebs, verknüpft jeden Testfall mit der dahinterliegenden Anforderung, führt Ausführungsprotokolle mit Zeitstempel und lässt Freigaben über rollenbasierte Workflows laufen. Nachweise entstehen laufend statt auf Anfrage, werden unveränderlich mit konfigurierbarer Aufbewahrung gespeichert und sind in Formaten exportierbar, die für die Aufsichtsprüfung geeignet sind. Der On-premise-Betrieb hält die Aufzeichnungen in der eigenen Infrastruktur des Instituts.
Können bestehende Testwerkzeuge eine konforme Nachweiskette erzeugen?
Teilweise, mit Aufwand. Anforderungsnachvollziehbarkeit lässt sich in einem Testmanagementwerkzeug pflegen, und unveränderliche Speicherung lässt sich mit einem Write-Once-Archiv bauen. Was üblicherweise fehlt, ist die geregelte Freigabekette und der Export im Aufsichtsformat, weshalb viele Institute die Lücke manuell überbrücken. Diese Ebene zu bauen oder zu kaufen ist eine echte Entscheidung, und der ehrliche Test ist, ob das Ergebnis Personalwechsel übersteht.
Caixa Mágica Software
Team Caixa Mágica
Caixa Mágica Software ist ein portugiesisches Softwareunternehmen seit 2000. Kundenspezifische Software, KI-Plattformen und Nearshore-Entwicklung für europäische Unternehmen in PT, DE und UK.
Qualigentic · Caixa Mágica Software
Nachweise entstehen beim Testen, nicht unter Druck
Signierte Ketten von der Anforderung bis zum Ausführungsprotokoll. Unveränderliche Speicherung mit konfigurierbarer Aufbewahrung