Vor einiger Zeit haben wir einen Artikel über ein sehr einfaches, aber effektives Testszenario veröffentlicht: den Test mit 5000 Transaktionen in einer Reihe. Wir sprechen oft mit unseren Kunden darüber und deshalb möchte ich dieses Szenario noch einmal aufgreifen. 

Die Idee hinter diesem Test ist einfach, aber wirkungsvoll: Wenn wir das Terminal kontinuierlich mit regelmäßigen Transaktionen belasten, werden wir Fehler entdecken, die wir selbst mit den aufwändigsten Testskripten nicht finden können.

Wir schreiben seit Jahren Terminalanwendungen für unsere Kunden. Unsere Erfahrung hat gezeigt, dass einige Probleme, vor allem in den untergeordneten Komponenten (z.B. Speicherhandling, Treiberabstürze, Dateisystem, DB) extrem schwer zu entdecken und damit zu lösen sind. Solche Probleme wirken sich aber nachteilig auf die Gesamtqualität der Terminalanwendung aus. Sie können überall und jederzeit auftauchen, und niemand weiß, warum. Das Ergebnis ist eine schlechte Benutzererfahrung, unzufriedene Kunden, Serviceanrufe, ein schlechter Ruf und noch schlimmer, es gibt keinen klaren Weg zur Lösung des Problems.

Kleiner Schritt, große Wirkung

Ohne Automatisierung ist es super schwer, Terminals kontinuierlich zu belasten. Wie viele Wochen braucht ein Mensch, um 5000 Testtransaktionen hintereinander auszuführen? Wie effektiv und genau ist ein Mensch nach 100 Testtransaktionen, oder noch schlimmer, nach 3 Tagen, in denen er dies tut? Was passiert über Nacht, wenn der Mensch schläft?

Nur mit Automatisierung können Sie das Terminal so weit belasten, dass Sie die zugrunde liegenden Probleme finden. Darüber hinaus ist es entscheidend, die tatsächliche Terminal-Hardware zum Testen zu verwenden. Nur mit einem End-to-End-Setup, das die gesamte Hardware, Firmware, Speichersysteme usw. einbezieht, können Sie wirklich davon profitieren.

Die Lösung: der Einstieg in die Testautomatisierung mit Robotik. Mit unserer Robotik-Lösung ist dieser Testfall sehr einfach zu implementieren. Die meisten unserer Kunden sind innerhalb weniger Tage, wenn nicht sogar Stunden, mit einer einfachen automatisierten Transaktion startklar. Sobald Sie diesen einfachen Testfall haben, können Sie ihn in eine Schleife einbinden, und los geht's. Die Roboter arbeiten rund um die Uhr, sind schneller und genauer als Menschen und können Ihr Terminal wirklich belasten. Sie werden von den Ergebnissen überrascht sein. 

70 Ausgaben pro Terminal?!

Wir haben diesen Roboter aus einem internen Bedürfnis heraus entwickelt. Wir wollten eine Testautomatisierung für unser Terminal-Entwicklungsteam. Der Test mit 5000 Transaktionen in einer Reihe war das erste, was wir mit unserem allerersten Roboter gemacht haben. Hier ist eine Zusammenfassung dessen, was wir entdeckt haben: 

Der Test wurde mit 76 verschiedenen Terminalmodellen und Anwendungen durchgeführt
Ein Testlauf dauerte ca. 2 Tage
Keines der Terminals hat den Test auf Anhieb bestanden
Wir fanden durchschnittlich 70 Bugs pro Terminal
Über 50 % waren Hardware- und Firmware-Fehler, die vom Terminalhersteller behoben werden mussten

Wir hatten zwar erwartet, dass wir einige Probleme entdecken würden, aber die schiere Anzahl der Probleme und die Tatsache, dass keines der Terminals den Test bestand, war ein großer "Aha"-Moment für uns.

Nachdem wir die gefundenen Fehler behoben hatten, sahen wir eine massive Verbesserung der Gesamtqualität und viel zufriedenere Kunden. Und das alles ohne komplexe Testfälle und Testabdeckung, nur durch die Ausführung der einfachsten Testtransaktionen.

Bestehen Ihre Terminals den Test?

Dieser einfache Test wird auch Ihre Gesamtqualität verbessern. Schließlich verbessert eine stabile Plattform Ihre Anwendungsentwicklung. In der Tat empfehlen wir allen unseren Kunden, zuerst mit solchen einfachen Fällen zu beginnen. "Low hanging fruit" bedeutet Automatisierung mit geringem Aufwand, aber großer Wirkung. Einfache Fälle wie diese bringen Ihnen einen schnellen Gewinn und rechtfertigen sogar die Kosten für einen Roboter. Und während Sie die Vorteile dieses Tests schnell ernten, können Sie parallel dazu mit komplexerer Testautomatisierung experimentieren." 

Wir würden uns freuen, von Ihren Erfahrungen zu hören. Wie gehen Sie mit vermuteten Low-Level-Problemen um? Was ist mit Ihren Terminals passiert, nachdem Sie 5000 Transaktionen hintereinander durchgeführt haben?