15.09.2011, 00:00 Uhr
Studienergebnisse zur Software-Qualitätssicherung
Eine von ANECON Software Design und Beratung GmbH initiierte und in Kooperation mit den Hochschulen Bremen und Bremerhaven, der Fachhochschule Köln, dem German Testing Board (GTB) und Swiss Testing Board (STB) durchgeführte Umfrage, gibt Aufschluss über die Praxis in der Software-Qualitätssicherung im deutschsprachigen Raum.
Primäres Ziel der Umfrage war die Feststellung der Entwicklung des Softwaretests im Vergleich zur Umfrage „State of the Practice bei den Prüf- und Testprozessen in der Softwareentwicklung“ aus dem Jahr 1997. Zusätzlich stand der Handlungsbedarf für Forschung, Ausbildung und Consulting in Qualitätssicherung und Softwaretest im Vordergrund sowie die Untersuchung verschiedener Thesen, die im Vorfeld definiert wurden.
Softwaretest wird professioneller
Über 40 Prozent der Unternehmen lassen ihren Testprozess auditieren. Dies zeigt deutlich, dass der Softwaretest und die Qualitätssicherung in der Softwareentwicklung professioneller werden. Kennzahlen wie Abdeckung der Anforderungen, Durchführungsrate oder Fehlererkennungsrate sind gängige Testendekriterien, die von den Umfrageteilnehmern genannt wurden.
Über 40 Prozent der Unternehmen lassen ihren Testprozess auditieren. Dies zeigt deutlich, dass der Softwaretest und die Qualitätssicherung in der Softwareentwicklung professioneller werden. Kennzahlen wie Abdeckung der Anforderungen, Durchführungsrate oder Fehlererkennungsrate sind gängige Testendekriterien, die von den Umfrageteilnehmern genannt wurden.
Trend zum frühzeitigen Einsatz von Qualitätssicherungsmaßnahmen
Die Ergebnisse veranschaulichen, dass die Qualitätssicherungsmaßnahmen in den frühen Phasen zugenommen haben. Dennoch gibt es eine Konzentration auf die späten Phasen in der Softwareentwicklung. Mehr als ein Drittel der Befragten stimmt zu, QS-Maßnahmen bereits in der Vorstudie einzusetzen. Jedoch ist der Anteil jener, die Qualitätssicherung in dieser Phase zögerlich oder überhaupt nicht einsetzen, mit 37 Prozent etwa noch gleich groß. In allen Branchen ist ab der Phase Realisierung die Qualitätssicherung gängig. Vergleicht man die Branchen Automotive, Bank, Luft- und Raumfahrt, zeigen sich Unterschiede: So werden bei Letzteren QS-Maßnahmen sehr viel häufiger in den frühen Phasen eingesetzt als in anderen Branchen. Insgesamt ist dieses Ergebnis nicht überraschend und ein Trend zum frühzeitigen Einsatz von Qualitätssicherungsmaßnahmen ist vor allem dort erkennbar, wo hohe Qualitätsanforderungen bestehen.
Die Ergebnisse veranschaulichen, dass die Qualitätssicherungsmaßnahmen in den frühen Phasen zugenommen haben. Dennoch gibt es eine Konzentration auf die späten Phasen in der Softwareentwicklung. Mehr als ein Drittel der Befragten stimmt zu, QS-Maßnahmen bereits in der Vorstudie einzusetzen. Jedoch ist der Anteil jener, die Qualitätssicherung in dieser Phase zögerlich oder überhaupt nicht einsetzen, mit 37 Prozent etwa noch gleich groß. In allen Branchen ist ab der Phase Realisierung die Qualitätssicherung gängig. Vergleicht man die Branchen Automotive, Bank, Luft- und Raumfahrt, zeigen sich Unterschiede: So werden bei Letzteren QS-Maßnahmen sehr viel häufiger in den frühen Phasen eingesetzt als in anderen Branchen. Insgesamt ist dieses Ergebnis nicht überraschend und ein Trend zum frühzeitigen Einsatz von Qualitätssicherungsmaßnahmen ist vor allem dort erkennbar, wo hohe Qualitätsanforderungen bestehen.
Testen bei agiler Entwicklung mit Verbesserungsbedarf
Ein Viertel der Befragten arbeitet mit agilen Methoden, „Scrum“ ist hierbei mit etwa 57 Prozent am deutlichsten vertreten. Arbeitet über die Hälfte der Teilnehmer mit einem sequentiellen Phasenmodell, so überrascht doch die hohe Anzahl von 17 Prozent, die gar kein explizites Vorgehensmodell verwenden.
Die Einbindung der Qualitätssicherung in agilen Projekten ist nicht abschließend geklärt. Einiges deutet jedoch darauf hin, dass zwar die reinen Entwicklungstätigkeiten nach agilen Richtlinien durchgeführt werden, die Qualitätssicherung jedoch nicht auf die agilen Methoden abgestimmt wurde und es entsteht der Eindruck, dass agile Projekte nicht richtig gelebt werden. Aufgrund der vorteilhaften Kundennähe bei agilen Projekten wäre zu erwarten gewesen, dass hierbei die Mitarbeiter der Fachabteilungen besser in die QS-Maßnahmen einbezogen würden als in traditionellen Projekten. Tatsächlich werden in den klassischen phasenorientierten Projekten die Fachbereiche beispielsweise zu fast 50 Prozent in die Testfallerstellung einbezogen, in den agilen Projekten jedoch nur zu 33 Prozent. Auch Reviews werden in agilen Projekten nur in 57% der Nennungen von den Fachabteilungen durchgeführt, während es bei den phasenorientierten Projekten immerhin 72 Prozent sind. Das scheint daran zu liegen, dass es noch kein einheitliches Rollenverständnis für den Productowner gibt.
Ein Viertel der Befragten arbeitet mit agilen Methoden, „Scrum“ ist hierbei mit etwa 57 Prozent am deutlichsten vertreten. Arbeitet über die Hälfte der Teilnehmer mit einem sequentiellen Phasenmodell, so überrascht doch die hohe Anzahl von 17 Prozent, die gar kein explizites Vorgehensmodell verwenden.
Die Einbindung der Qualitätssicherung in agilen Projekten ist nicht abschließend geklärt. Einiges deutet jedoch darauf hin, dass zwar die reinen Entwicklungstätigkeiten nach agilen Richtlinien durchgeführt werden, die Qualitätssicherung jedoch nicht auf die agilen Methoden abgestimmt wurde und es entsteht der Eindruck, dass agile Projekte nicht richtig gelebt werden. Aufgrund der vorteilhaften Kundennähe bei agilen Projekten wäre zu erwarten gewesen, dass hierbei die Mitarbeiter der Fachabteilungen besser in die QS-Maßnahmen einbezogen würden als in traditionellen Projekten. Tatsächlich werden in den klassischen phasenorientierten Projekten die Fachbereiche beispielsweise zu fast 50 Prozent in die Testfallerstellung einbezogen, in den agilen Projekten jedoch nur zu 33 Prozent. Auch Reviews werden in agilen Projekten nur in 57% der Nennungen von den Fachabteilungen durchgeführt, während es bei den phasenorientierten Projekten immerhin 72 Prozent sind. Das scheint daran zu liegen, dass es noch kein einheitliches Rollenverständnis für den Productowner gibt.
Überraschung bei Bedeutung der agilen Praktiken und ihren Werkzeugen
Auch die Frage, welche Methoden und Praktiken agiler Vorgehensmodelle hinsichtlich der Qualitätssicherung eine hohe Bedeutung haben, lieferte überraschende Antworten. Nur etwa die Hälfte der Teilnehmer, die ein agiles Vorgehen nutzen, sehen Test Driven Development, Stand-up-Meetings, Retrospektive oder User Stories als bedeutsame Praktiken für die Qualitätssicherung. In den agilen Projekten gaben 77 Prozent der Teilnehmer an, dass Unit-Tests Teil jeder Iteration sind. Nur wenig darunter liegt die Durchdringung jeder Iteration mit Integrationstests. Auch hier wurden höhere Zustimmungswerte erwartet. Gleiches gilt für die Frage, bei welchen Testaktivitäten traditionell phasenorientierte Projekte besser liegen: Liegt die werkzeugunterstützte Ausführung von Tests etwa gleich auf, so werden in agilen Projekten mit 38 Prozent deutlich weniger Werkzeuge für die Spezifikation von Testfällen als in phasenorientierten Projekten (53 Prozent) eingesetzt.
Auch die Frage, welche Methoden und Praktiken agiler Vorgehensmodelle hinsichtlich der Qualitätssicherung eine hohe Bedeutung haben, lieferte überraschende Antworten. Nur etwa die Hälfte der Teilnehmer, die ein agiles Vorgehen nutzen, sehen Test Driven Development, Stand-up-Meetings, Retrospektive oder User Stories als bedeutsame Praktiken für die Qualitätssicherung. In den agilen Projekten gaben 77 Prozent der Teilnehmer an, dass Unit-Tests Teil jeder Iteration sind. Nur wenig darunter liegt die Durchdringung jeder Iteration mit Integrationstests. Auch hier wurden höhere Zustimmungswerte erwartet. Gleiches gilt für die Frage, bei welchen Testaktivitäten traditionell phasenorientierte Projekte besser liegen: Liegt die werkzeugunterstützte Ausführung von Tests etwa gleich auf, so werden in agilen Projekten mit 38 Prozent deutlich weniger Werkzeuge für die Spezifikation von Testfällen als in phasenorientierten Projekten (53 Prozent) eingesetzt.
Unit-Tests sind gängige Praxis
Die Ergebnisse sind eindeutig: Während im Unit-Test über die Hälfte der Tests zu 70 Prozent und mehr automatisiert sind (26 Prozent der Befragten gaben sogar an, den Unit-Test zu 100 Prozent automatisiert zu haben), so ist dies beim Integrationstest immerhin noch bei einem Drittel der Teilnehmer mit 70 Prozent und mehr der Fall. Der Abnahmetest ist am wenigsten automatisiert und wird von fast 40 Prozent der Befragten vollständig manuell durchgeführt. Überraschend war das Ergebnis, dass in den agilen Projekten die Testdurchführung im Unit-Test nur zu 43 Prozent vollständig automatisiert ist. Hier wäre zu erwarten gewesen, dass annähernd alle Unit-Tests vollständig automatisiert sind. Wie erwartet nimmt die Testautomatisierung mit steigender Teststufe ab.
Die Ergebnisse sind eindeutig: Während im Unit-Test über die Hälfte der Tests zu 70 Prozent und mehr automatisiert sind (26 Prozent der Befragten gaben sogar an, den Unit-Test zu 100 Prozent automatisiert zu haben), so ist dies beim Integrationstest immerhin noch bei einem Drittel der Teilnehmer mit 70 Prozent und mehr der Fall. Der Abnahmetest ist am wenigsten automatisiert und wird von fast 40 Prozent der Befragten vollständig manuell durchgeführt. Überraschend war das Ergebnis, dass in den agilen Projekten die Testdurchführung im Unit-Test nur zu 43 Prozent vollständig automatisiert ist. Hier wäre zu erwarten gewesen, dass annähernd alle Unit-Tests vollständig automatisiert sind. Wie erwartet nimmt die Testautomatisierung mit steigender Teststufe ab.
Testaktivitäten werden von Entwicklern weniger strukturiert durchgeführt
Während fast die Hälfte der Entwickler angab, dass die Testaktivitäten keinem definierten Prozess folgen, war dies bei nur 19 Prozent der Tester der Fall. Fragt man die Teilnehmer nach dem eingesetzten Verfahren für den dynamischen Test, so wird der werkzeuggestützte Test nur zu 40 Prozent bei den agilen und zu 31 Prozent bei den phasenorientierten Projekten eingesetzt. Beim Einsatz von Testwerkzeugen gibt es kaum einen Unterschied zwischen den Branchen, jedoch setzen die Entwickler signifikant weniger (51 Prozent) Testwerkzeuge ein als die Tester (70 Prozent). Bei den agilen Projekten ist der Anteil der Entwickler, die Testwerkzeuge benutzen, höher (71 Prozent). Da Test Driven Development eine essentielle Praktik im Agilen Umfeld darstellt, wurde hier jedoch ein noch höheres Ergebnis erwartet.
Während fast die Hälfte der Entwickler angab, dass die Testaktivitäten keinem definierten Prozess folgen, war dies bei nur 19 Prozent der Tester der Fall. Fragt man die Teilnehmer nach dem eingesetzten Verfahren für den dynamischen Test, so wird der werkzeuggestützte Test nur zu 40 Prozent bei den agilen und zu 31 Prozent bei den phasenorientierten Projekten eingesetzt. Beim Einsatz von Testwerkzeugen gibt es kaum einen Unterschied zwischen den Branchen, jedoch setzen die Entwickler signifikant weniger (51 Prozent) Testwerkzeuge ein als die Tester (70 Prozent). Bei den agilen Projekten ist der Anteil der Entwickler, die Testwerkzeuge benutzen, höher (71 Prozent). Da Test Driven Development eine essentielle Praktik im Agilen Umfeld darstellt, wurde hier jedoch ein noch höheres Ergebnis erwartet.
Budget wird eingehalten
Der Nutzen der Qualitätssicherung in IT-Projekten ist anerkannt, es steht dafür ein definiertes Budget zur Verfügung. So wird im Durchschnitt 20 Prozent des Gesamtbudgets für Test und QS verwendet. Diese Budgets werden in der Regel pauschal geschätzt und auch meist eingehalten. Gleichermaßen wird rund ein Fünftel der gesamten Zeit wird für Qualitätssicherung aufgewendet.
Der Nutzen der Qualitätssicherung in IT-Projekten ist anerkannt, es steht dafür ein definiertes Budget zur Verfügung. So wird im Durchschnitt 20 Prozent des Gesamtbudgets für Test und QS verwendet. Diese Budgets werden in der Regel pauschal geschätzt und auch meist eingehalten. Gleichermaßen wird rund ein Fünftel der gesamten Zeit wird für Qualitätssicherung aufgewendet.
Testen wird wider Erwarten kaum „outgesourced“
Ein eindeutiger Trend zum Outsourcing des Tests hat sich nicht bestätigt. So setzen nur 15 Prozent der Befragten externe Dienstleister für die Testdurchführung ein. Bei der Frage, wer für die Qualitätssicherung in den Projekten verantwortlich ist, gaben nur 6 Prozent an, dies an externe Unternehmen zu übergeben. Hier wurde ein erheblich höherer Anteil erwartet und es bestehen noch Möglichkeiten für eine stärkere Aufgabenteilung zwischen IT, Fachbereich und externen Dienstleistern. [bl]
Ein eindeutiger Trend zum Outsourcing des Tests hat sich nicht bestätigt. So setzen nur 15 Prozent der Befragten externe Dienstleister für die Testdurchführung ein. Bei der Frage, wer für die Qualitätssicherung in den Projekten verantwortlich ist, gaben nur 6 Prozent an, dies an externe Unternehmen zu übergeben. Hier wurde ein erheblich höherer Anteil erwartet und es bestehen noch Möglichkeiten für eine stärkere Aufgabenteilung zwischen IT, Fachbereich und externen Dienstleistern. [bl]
