Automatisiertes Game Testing: Work smarter, not harder

Mehr Plattformen, Engines und Tools als je zuvor: Die Entwicklung von Videospielen war noch nie so zugänglich und erschwinglich wie heute. Kleine und große Studios und Publisher denken deshalb mittlerweile in Komparativen: größer, vielfältiger, kreativer, immersiver und innovativer. Schließlich müssen sie sich von der Masse all der Spiele, die dadurch auf den Markt spülen, abheben. Gleichzeitig erwarten Spieler vor allem von Triple-A-Studios, dass sie ihr Endprodukt so schnell und qualitativ hochwertig wie möglich releasen. Die Realität ist allerdings komplexer, denn für den QA-Bereich in der Spielebranche ist es gar nicht so einfach, die richtige Balance zwischen Zeit und Qualität zu erreichen.

Angesichts der steigenden Erwartungen verschlingt die Produktion von Spielwelten sowie sämtlicher Assets, die sie bewohnen und beleben, mittlerweile massig Ressourcen. Besonders bei Open-World- und Live-Service-Spielen nimmt dieser Trend enorme Ausmaße an. So befindet sich zum Beispiel Rockstars Grand Theft Auto VI Berichten zufolge seit etwa zehn Jahren in der Entwicklung. Der neue Teil dürfte größer und komplexer werden als sein Vorgänger und somit dessen geschätzte Produktionsausgaben von etwa 137 Millionen US-Dollar weit übersteigen. Es sind sogar Kosten von über einer Milliarde möglich, was für einige AAA-Produktionen bereits heute realistisch zu sein scheint.

Folglich bedeutet das: Um der riesigen Gaming-Community das liefern zu können, was sie erwartet, sind Studios auf Mittel und Wege angewiesen, Entwicklungsprozesse effizienter und kostengünstiger zu machen – idealerweise, ohne sich von menschlichen Experten verabschieden zu müssen und stattdessen ihren Beitrag zu fördern. KI-gestützte Testautomatisierung könnte die Lösung für diese Herausforderung sein; zahlreiche Prozessschritte bieten sich bereits für ihren Einsatz an. Ein Use Case, an dem Studios und Publisher ansetzen können, ist das QA Testing.

Bei der klassischen QA im Games-Bereich wird das Testing bestehender, neuer und/oder experimenteller Features via Video- und Input-Capture dokumentiert. Wenn Probleme auftreten, werden diese Aufnahmen analysiert und manuelle Spieletester nutzen sie, um Bugs zu melden. Dazu gehören Glitches, fehlende Assets, Performance-Probleme sowie mangelhaftes Pathfinding, Probleme im Level Design und vieles mehr. Dabei haben die Größe des Spiels, dessen Aufbau und Mechaniken sowie die Plattformen, auf denen es releast werden soll, einen spürbaren Einfluss auf den Zeitraum, in dem Tester sämtliche Features vollständig beleuchten.

Zum Beispiel unterscheidet sich das Testing eines Platformers mit 20 linearen Leveln und einer durchschnittlichen Spielzeit von etwa acht Stunden drastisch vom Testing eines Open-World-Rollenspiels mit einer riesigen, komplexen Umwelt und hunderten Spielstunden. Hinzu kommt, dass sich viele Prozesse nicht skalieren lassen, indem man einfach mehr Menschen oder Arbeitszeit bereitstellt. Es ist weder möglich noch effizient eine unendliche Zahl an Mitarbeitern pausenlos zu beschäftigen, denn Menschen haben nur eine begrenzte Aufmerksamkeitsspanne – ganz zu schweigen, dass alle vertretbare Arbeitszeiten haben möchten. Dementsprechend kann sich das Testing – abhängig von Größe und Ausmaß des Projekts – über mehrere Monate bis Jahre hinziehen – und je zeitintensiver es ist, desto kostspieliger wird es.

Die Frage ist also: Wie lassen sich immer größere und komplexere Spiele in einem angemessenen Zeitrahmen entwickeln, ohne das Team zu überfordern und das Budget zu sprengen? 

Die systematische, KI-basierte Testautomatisierung birgt bereits heute großes Potenzial. Besonders im Rahmen von Unit- und Integration-Tests kann ein plattformagnostisches Automatisierungssystem ressourcenschonend und ununterbrochen zahlreiche Spielfunktionen und -Features testen. Wie andere Machine-Learning-Systeme füttert man solch ein KI-Modell mit von echten Menschen erzeugten Spieldaten sowie definierten Spielparametern und -limits, mit denen es gängige Spielmuster erkennen und sogar lernen kann, selbst zu spielen und bestimmte Funktionen zu testen. 

Viele neue Test-Frameworks machen von einem Brute-Force-Ansatz Gebrauch, um die Grenzen innerhalb eines Levels zu testen. Ein KI-gesteuerter Akteur erhält wichtige Parameter und gleicht Tester-Input gegen Spielcharakter-Feedback in Trial-and-Error-Manier ab. Das System wendet diese Brute-Force-Tests auf mehr als 100 Instanzen gleichzeitig an, bis es auf ein Problem stößt. Die Ergebnisse dieser Testiteration fließen dann in die nächste ein und so weiter, wodurch das Modell weiter lernt und Grenzprobleme innerhalb des Levels aufdeckt. Auf diese Weise schafft es das System, mehr Tests durchzuführen als ein Mensch in derselben Zeit.

In den letzten Jahren machten in der Gaming-Branche massenhaft Entlassungen Schlagzeilen. Allein 2023 waren davon über 200.000 Stellen betroffen – unter anderem auch in QA-Teams. Es ist daher keine Überraschung, dass Studio-Angestellte ihre Rolle innerhalb des Entwicklungsprozesses durch KI-gestützte Automatisierung bedroht sehen. Allerdings gibt es dafür keinen Grund; die Technologie wird Testing-Prozesse in absehbarer Zeit nicht vollständig übernehmen. Besonders der QA-Bereich wird weiter vom Potenzial der Automatisierung profitieren, sodass die Teams noch smarter vorgehen, sich mehr auf kreative Aufgaben konzentrieren und das wohl wichtigste Feedback liefern können, zu dem KI nicht imstande ist: Macht das Spiel auch Spaß?

Zunächst: Automatisierung ist im Spiele-Testing keine Neuheit. Bereits seit zwei Jahrzehnten wenden Entwickler diese Technologie an. Was sich aber weiterentwickeln wird, ist das Ausmaß, in dem sich Games mithilfe dieser Systeme testen lassen. Wofür eine Gruppe Tester mehrere Monate oder sogar Jahre braucht, lässt sich mithilfe von KI-Modellen und -Tools drastisch kürzen und sogar aufwerten. Dafür brauchen sowohl Entwickler als auch die Automatisierungssysteme selbst weiterhin den Input ihrer menschlichen Kollegen. Menschen sind nämlich besonders gut in kreativer Problembewältigung und Automatisierungssysteme können kein qualitatives Feedback geben. Und was noch wichtiger ist: wir entwickeln die Spiele ja für Menschen, nicht für unsere Roboter-Kollegen. Es gibt jedoch einen Bereich, der sehr von Automatisierung profitiert: repetitive Testing-Prozesse wie das erfolgreiche Booten des Spiels in verschiedenen Sprachen und auf verschiedenen Plattformen. Ein weiteres gutes Beispiel: Kann ein Spiel auf 100 verschiedenen Mobile-Geräten laufen und überall die Performance-Anforderungen für ein gelungenes Spielerlebnis erfüllen? Solche Aufgaben sind perfekt geeignet für Automatisierungssysteme, damit sich QA-Teams auf wichtigere Probleme konzentrieren können.

Der Mensch besitzt nämlich nicht zu unterschätzende Eigenschaften: kritisches Denken, die haptische, auditive und visuelle Sinneswahrnehmung sowie das Treffen von Entscheidungen basierend auf diesem Feedback. Sprich: Ein KI-gestütztes Testsystem kann bestätigen, ob durch das Drücken bestimmter Tasten auch der gewünschte Output stattfindet oder nicht – zum Beispiel Bewegungen wie Springen, Ausweichen oder Ducken. Ein Spieler hingegen kann zusätzlich beurteilen, ob es zu einem Delay kommt, der die Spielerfahrung stört, oder ob sich die Mechanismen intuitiv anfühlen. Aus diesen Gründen ist es sehr unwahrscheinlich, dass menschliche Tester jemals aus der Branche verdrängt werden. Vielmehr rücken QA-Testing- und Game-Design-Teams noch enger zusammen, um sicherzustellen, dass sie bereits früh wichtiges Feedback zum Feature-Design erhalten. Die langweiligen und repetitive Aufgaben können sie dann getrost dem Automatisierungssystem überlassen.

Beliebte Studios setzen zumindest teilweise bereits auf Automatisierung, um ihre Spielwelten zu testen – wie zum Beispiel Guerrilla Games während der Entwicklung seines Open-World-Titels Horizon Zero Dawn. Dieser Testing-Ansatz spart Zeit und Geld und wertet gleichzeitig die Arbeit menschlicher Tester auf. Allerdings erfordern solche Automatisierungssysteme in der Regel nicht nur die richtigen Planungs- und Entwicklungsmethoden, sondern verursachen neben den Implementierungskosten zusätzliche Ausgaben. Dabei ist aktuell für jedes neue Spiel ein neues Automatisierungsmodell und -system notwendig – lediglich ein kleiner Teil der Technologie oder der Automatisierungslösung ist wiederverwendbar. In Zukunft werden sich diese Systeme in eine agnostische Richtung entwickeln, um sie via Plug-and-Play vielseitig einzusetzen. Dadurch werden die Implementierungskosten sinken und Ressourcen anderswo effizienter eingesetzt werden können.

Innerhalb der Games-Entwicklung und im Testing-Bereich sind derzeit spannende Fortschritte zu beobachten. Auch wenn die aktuellen Systeme bereits zahlreiche Vorteile mitbringen, ist ihr Einsatz weder grenzenlos noch günstig. Die Zukunft verspricht vielseitigere, kosteneffiziente und barrierefreie Lösungen, die sich über verschiedene Spiele hinweg einsetzen lassen und zweifellos eine entscheidende Rolle spielen werden – eine vielversprechende Reise, die viel Raum für Wachstum und Innovation bietet.

Quelle: Telmo Guevara

Telmo Guevara, Head of Games QA bei Endava, ist seit über 15 Jahren in der Videospielbranche tätig. Zuvor hat er bei verschiedenen AAA-Studios wie Warner Brothers, Square Enix und Electronic Arts und zuletzt bei Keywords Studios gearbeitet. Über verschiedene Führungspositionen hinweg hat er maßgeblich zu den Test- und Geschäftsstrategien der einzelnen Studios in der Spieleentwicklung beigetragen. Mit seiner Leidenschaft für Spieletechnologie und Geschäftsabläufe hat er sich als Experte für den SDLC von Spielen etabliert und unterstützt Teams dabei, bessere Spiele und Produkte zu entwickeln.