Per Copilot die Produktivität verbessern

Die Kernthese hinter GitHub-Copilot lautet: KI kann Entwicklern dabei helfen, produktiver und zufriedener zu sein, während sie programmieren. Diese These wollte GitHub testen und herausfinden, ob ihr Copilot tatsächlich zu einer höheren Produktivität führt. Zu diesem Zweck wurden Umfragedaten von mehr als 2.000 Entwicklern in den USA erhoben unnd mit anonymisierten Daten kombiniert. Laut GitHub sollen demnächst weitere Studien zu GitHub Copilot folgen.

Das Wort "Produktivität" hat in der Entwicklung eine große Bandbreite an möglichen praktischen Bedeutungen. Wollen Entwickler idealerweise Tastaturanschläge sparen oder Suchvorgänge auf Google und StackOverflow vermeiden? Soll GitHub Copilot ihnen helfen, im Fluss zu bleiben, indem er ihnen hochpräzise Lösungen für mechanische Aufgaben liefert? Oder soll er sie mit spekulativen Stubs inspirieren, die ihnen helfen können, wenn sie nicht weiterkommen?

Insgesamt wurden mehr als 2.000 Entwickler in den USA die folgenden drei Fragen gestellt und ihre Antworten mit Nutzerdaten aus demselben Zeitraum verglichen.

Die Ergebnisse: Die Verwendung von GitHub Copilot korreliert mit einer verbesserten Produktivität der Entwickler. Entwickler, die die höchsten Produktivitätsgewinne mit GitHub Copilot melden, akzeptieren auch die meisten der angezeigten Code-Vorschläge. Bei der Einteilung der Nutzer in verschiedene Quartile, je nachdem, wie nützlich sie GitHub Copilot fanden, gab es einen deutlichen Unterschied zwischen diesen Gruppen: Die Akzeptanzrate der Vervollständigungen war bei denjenigen, die die größten Produktivitätssteigerungen gemeldet hatten, viel höher. Außerdem war es den befragten Entwicklern nicht so wichtig, ob sie den Vorschlag überarbeiten mussten, solange GitHub Copilot ihnen einen geeigneten Ausgangspunkt bot.

GitHub: "Unser Copilot ist nicht dazu gedacht, selbst Software zu erstellen. Er soll hilfreiche Vorschläge machen, die es einfacher machen, im Fluss zu bleiben. Mit anderen Worten: GitHub Copilot bietet Entwicklern die Teile an, überlässt es ihnen aber, das fertige Produkt zusammenzusetzen und zu gestalten."

Die endgültigen Forschungsergebnisse finden Sie in diesem akademischen Papier. Die Erläuterungen von GitHub zur Umfrage liefert dieser Blogbeitrag. Warum der GitHub Copilot sehr kontrovers diskutiert wird steht in dieser Meldung.