GPT-4 Turbo with Vision: Ein Rückschritt für das Coding

Die Analyse zeigt, dass der neue GPT-4 Turbo mit Vision-Modell im Vergleich zu früheren GPT-4-Modellen deutlich schlechter bei Coding-Benchmarks abschneidet. Insbesondere scheint das Modell anfälliger für "faules Codieren" zu sein, bei dem wichtige Codeabschnitte ausgelassen und stattdessen Kommentare mit Hausaufgaben-ähnlichen Anweisungen hinterlassen werden.

In einem Benchmark, der 133 Exercism-Python-Übungen umfasst, erzielte GPT-4 Turbo mit Vision nur 62 Prozent Erfolgsquote - der niedrigste Wert aller GPT-4-Modelle. Die anderen Modelle erzielten 63 bis 66 Prozent, was laut Aider statistisch gesehen nur eine geringe Verschlechterung darstellt.

Noch deutlicher ist der Unterschied bei Aiders "Faulheits-Benchmark", der 89 Python-Refactoring-Aufgaben umfasst. Hier erreichte das neue GPT-4 Turbo mit Vision-Modell nur 34 Prozent - den schlechtesten Wert aller GPT-4 Turbo-Modelle.

Trotz dieser Ergebnisse bietet Aider weiterhin Unterstützung für das neue GPT-4 Turbo mit Vision-Modell an. Standardmäßig empfiehlt das Unternehmen jedoch weiterhin die Verwendung des GPT-4-1106-Preview-Modells, da es deutlich bessere Coding-Fähigkeiten aufweist.

Weitere Informationen

Aider ist ein Befehlszeilentool, mit dem Sie Programme mit GPT-3.5/GPT-4 koppeln können, um Code zu bearbeiten, der in Ihrem lokalen Git-Repository gespeichert ist. Aider bearbeitet direkt den Code in lokalen Quelldateien und überträgt die Änderungen mit sinnvollen Übergabemeldungen an Git. Sie können ein neues Projekt starten oder mit einem bestehenden Git-Repository arbeiten. Das Besondere an Aider ist, dass Sie Änderungen an bereits existierenden, größeren Codebasen vornehmen können.