KI-Testautomatisierung: Was ein QA-Team zuerst automatisieren sollte

Die meisten Teams, die mit KI-Testautomatisierung beginnen, setzen an derselben Stelle an: Sie lassen das Werkzeug mehr Tests erzeugen. Die Testabdeckung steigt schnell. Ein paar Wochen später stellt das Team fest, dass es doppelt so viele Skripte pflegen muss.

Tests zu erzeugen ist das, was Demos am besten zeigen. Es spart selten am meisten Zeit. In einem QA-Team mit einer produktiven Testsuite fließt die Zeit vor allem in die Pflege des Bestehenden, in die Trennung echter Fehler von Skriptfehlern und in die Erklärung gegenüber Entscheidern, was getestet wurde.

Dieser Artikel schlägt eine Reihenfolge vor. Sie beginnt bei Aufgaben, bei denen KI Arbeit spart, ohne Risiko hinzuzufügen. Aufgaben, die menschliches Urteil verlangen, kommen zuletzt.

Warum sollte die Testerzeugung nicht der erste Schritt sein?

Weil mehr Tests nicht mehr gefundene Fehler bedeuten. Aus dem Code erzeugte Tests bestätigen meist, was der Code bereits tut, einschließlich seiner Fehler. Aus Anforderungen erzeugte Tests sind nützlicher. Das gilt aber nur, wenn die Anforderungen präzise genug formuliert sind.

Dazu kommen Kosten, die erst später sichtbar werden. Jeder neue Test muss gepflegt werden. Eine Suite, die ohne Pflegemechanismus doppelt so groß wird, läuft langsamer. Sie schlägt häufiger aus Gründen fehl, die nichts mit der Anwendung zu tun haben. Das Team verliert das Vertrauen in sie. Wir haben das in unserem Artikel über KI-gestützte Testfallerzeugung ausführlich untersucht.

Womit sollte KI-Testautomatisierung beginnen?

In der Reihenfolge, in der das Risiko am geringsten und der Nutzen am leichtesten messbar ist.

1. 1
   Regression auf stabilen Anforderungen. Wählen Sie einen Bereich der Anwendung, der sich wenig ändert und klare Anforderungen in Jira, ALM oder Confluence hat. Erzeugen Sie daraus Regressionstests und vergleichen Sie sie mit den vorhandenen. Das Ergebnis lässt sich leicht prüfen, weil das Team das erwartete Verhalten gut kennt.
2. 2
   Pflege bestehender Skripte. Ändert sich ein Selektor oder wird ein Feld umbenannt, schlägt das Werkzeug die Korrektur vor. Ein Mensch gibt sie frei oder lehnt sie ab. Hier gewinnt das Team die meiste Zeit zurück, denn es ist die repetitivste Arbeit der Woche.
3. 3
   Fehlertriage. Anwendungsfehler von Skriptfehlern trennen und Fehler mit derselben Ursache gruppieren. Ein nächtlicher Lauf mit vierzig Fehlschlägen, die auf drei echte Probleme zurückgehen, kostet dann nicht mehr den ganzen Vormittag.
4. 4
   Abdeckung und Lücken. Mit einer stabilen Suite kann die KI Anforderungen und Tests abgleichen. Sie zeigt, was nicht abgedeckt ist, was doppelt existiert und was keiner Anforderung mehr entspricht.
5. 5
   Neue Szenarien aus neuen Anforderungen. Erst jetzt lohnt sich die Erzeugung in großem Umfang. Das Team hat einen Pflegeprozess, vertraut der Triage und kann die Ergebnisse lesen.

Was sollte beim Team bleiben?

Nicht alles, was sich automatisieren lässt, sollte automatisiert werden. Die Tabelle fasst unseren heutigen Stand zusammen, auf Grundlage der Arbeit mit QA-Teams in regulierten Branchen.

Self-Healing: was es repariert und was es verdeckt

Self-Healing ist die Fähigkeit eines Skripts, sich selbst zu korrigieren, wenn sich die Oberfläche ändert. Das ist nützlich. Es ist auch die Funktion, die am meisten Sorgfalt verlangt.

• Formänderungen korrigiert es gut. Ein Button mit neuer Kennung, ein verschobenes Feld, ein umformulierter Text. Das sind Skriptfehler. Ihre automatische Korrektur spart echte Arbeit.
• Verhaltensänderungen kann es verdecken. Ist ein Button verschwunden, weil eine Funktion versehentlich entfernt wurde, korrigiert ein Skript nichts, das einen ähnlichen Button sucht und weiterläuft. Es verdeckt einen Fehler.
• Es braucht eine klare Grenze. Selektorkorrekturen können automatisch vorgeschlagen werden. Korrekturen, die den Testablauf oder das erwartete Ergebnis ändern, sollten eine Prüfung erfordern.
• Es muss dokumentiert werden. Jede automatische Korrektur gehört in die Historie des Tests. Eine Suite, die sich ohne Protokoll selbst verändert, taugt nicht mehr als Qualitätsnachweis.

Woran erkennen Sie, dass es funktioniert?

Die Zahlen, die Anbieter zeigen, etwa erzeugte Tests oder erreichte Abdeckung, messen Aktivität. Ob das Team Zeit und Qualität gewonnen hat, zeigen andere Kennzahlen.

Erfassen Sie alle vier Werte, bevor Sie beginnen. Ohne Ausgangswert ist jede Verbesserung eine Meinung.

Was sich an der Arbeitsweise eines Teams ändert, haben wir in diesem Artikel über KI-gestütztes Testenbeschrieben. Wie Sie ein Pilotprojekt mit klarem Erfolgskriterium aufsetzen, erklärt unser Leitfaden zum QA-Pilotprojekt in acht Wochen.

Wie bereiten Sie Anforderungen für KI-Testautomatisierung vor?

Die Qualität der erzeugten Tests hängt von der Qualität der Anforderungen ab. Eine vage Anforderung ergibt einen vagen Test, der immer besteht und nichts beweist. Bevor Sie ein Werkzeug anbinden, lohnt sich ein Blick auf den Bereich, mit dem Sie beginnen wollen.

• Jede Anforderung hat eine eindeutige Kennung. Nur so lassen sich Anforderung, Test, Lauf und Ergebnis verknüpfen. Ohne Kennung geht die Nachvollziehbarkeit schon im ersten Zyklus verloren.
• Abnahmekriterien sind ausformuliert. Was geschehen muss, damit die Anforderung erfüllt ist, in prüfbaren Sätzen. Zum Beispiel: Der Nutzer erhält eine Fehlermeldung, wenn die IBAN weniger als 22 Zeichen hat.
• Es gibt konkrete Beispiele. Eingabewerte und erwartete Ergebnisse. Beispiele helfen der KI, Grenzfälle zu erzeugen, statt nur den offensichtlichsten Fall zu wiederholen.
• Die Sprache ist einheitlich. Derselbe Begriff trägt in allen Anforderungen denselben Namen. Kunde, Nutzer und Kontoinhaber sind für eine Maschine keine Synonyme.
• Veraltete Anforderungen sind markiert. Eine Anforderung, die nicht mehr gilt, erzeugt Tests, die aus gutem Grund fehlschlagen und Analysezeit kosten.

Diese Prüfung lohnt sich auch ohne KI. Teams, die sie vor einem Pilotprojekt durchführen, entdecken oft Lücken, die alte Fehler erklären.

Wie fügt sich KI-Testautomatisierung in den bestehenden Prozess ein?

Ein KI-Testwerkzeug sollte das Team nicht zwingen, seinen Prozess zu ändern. Es sollte sich in das Bestehende einfügen.

Verlangt ein Werkzeug ein eigenes Testformat oder eine geschlossene Laufzeitumgebung, wird das Team davon abhängig. Wählen Sie eines, das Code erzeugt, den das Team selbst pflegen kann.

Welche Risiken hat KI-Testautomatisierung und wie verringern Sie sie?

• Tests, die den Fehler bestätigen. Erzeugt die KI Tests aus dem aktuellen Verhalten der Anwendung, wird ein Fehler zum erwarteten Ergebnis. Erzeugen Sie Tests aus den Anforderungen, nicht aus dem Code.
• Schwache Prüfungen. Ein Test, der nur prüft, ob die Seite geladen wurde, testet nicht die Geschäftsregel. Prüfen Sie die Assertions in den ersten Zyklen, bis das Team dem Muster vertraut.
• Sensible Daten in den Anfragen. Anforderungen und Testdaten können Kundeninformationen enthalten. In regulierten Branchen verhindert der Betrieb on-premise oder in einer Private Cloud, dass diese Informationen die eigene Umgebung verlassen.
• Zu viel Vertrauen. Eine Suite, die von selbst wächst, vermittelt eine trügerische Abdeckung. Die entscheidende Kennzahl bleibt die Zahl der durchgerutschten Fehler.

Keines dieser Risiken ist ein Grund, auf KI-Testautomatisierung zu verzichten. Jedes ist ein Grund, einen Menschen in der Schleife zu halten und vom ersten Sprint an das Richtige zu messen.

Was sollten Sie dem Team vor dem Start sagen?

Die Einführung von KI-Testautomatisierung gelingt besser, wenn das Team vom ersten Tag an versteht, was sich an seiner Arbeit ändert. Die häufigste Frage ist keine technische. Sie lautet, ob das Werkzeug Menschen ersetzen soll.

• Was die KI tut. Sie schlägt Tests, Korrekturen und Einordnungen von Fehlschlägen vor. Sie gibt nichts selbst frei.
• Was das Team entscheidet. Was in die Suite kommt, was zuerst getestet wird und wann ein Ergebnis akzeptabel ist.
• Wie Erfolg gemessen wird. Mit den vier Kennzahlen oben, die ab dem Ausgangswert mit dem Team geteilt werden.
• Wohin die gewonnene Zeit fließt. In exploratives Testen, komplexe Szenarien und Strategie. Das ist die Arbeit, für die dem Team sonst selten Zeit bleibt.

Wer das zu Beginn klar sagt, vermeidet später Widerstand. Teams, die das Werkzeug als Kollegen für die repetitive Arbeit sehen, nutzen die Prüfwarteschlange aktiv. Teams, die es als Bedrohung sehen, ignorieren sie. Der Unterschied entsteht fast immer im ersten Gespräch, nicht in der Technik.

Häufige Fragen

KI-Testautomatisierung

Self-Healing und Governance

Team Caixa Mágica

Caixa Mágica Software ist ein portugiesisches Softwareunternehmen mit mehr als 20 Jahren Erfahrung in Individualsoftware und angewandter KI. Das Unternehmen entwickelt Qualiagentic, eine agentische KI-Plattform für Teams in der Softwarequalität.