OpenLLaMA: Eigenhändiges Feintunig erlaubt

Meta hat LLaMA in verschiedenen Größen (7B, 13B, 33B und 65B Parameter) zur Verfügung gestellt, aber zunächst war es auf zugelassene Forscher und Organisationen beschränkt. Als es jedoch Anfang März online für jedermann zum Herunterladen freigegeben wurde, wurde es als OpenLLaMa tatsächlich zu einer vollständig offenen Quelle.

Um ein Verständnis dafür zu bekommen, wie Entwickler LLaMA nutzen und welche Vorteile es gegenüber ähnlichen LLMs von OpenAI und Google bietet, sprach Richard MacManus von TheNewStack mit Sebastian Raschka von Lightning AI. Raschka ist "Lead AI Educator" bei Lightning AI und war zuvor Universitätsprofessor für Statistik. Seine Aussage gegenüber Richard MacManus: "Entwickler werden von Metas LLaMA angezogen, weil - anders als bei GPT und anderen populären großen Sprachmodellen (Large Lanuage Model, LLM) - LLaMAs Gewichte fein abgestimmt werden können. Dies ermöglicht es Entwicklern, fortschrittlichere und natürlichere Sprachinteraktionen mit Nutzern in Anwendungen wie Chatbots und virtuellen Assistenten zu erstellen." Im übrigen unterscheide sich LLaMa nicht so sehr von OpenAIs GPT-3-Modell.

Im Zusammenhang mit KI-Modellen bezieht sich "Gewichte" auf die Parameter, die ein Modell während des Trainingsprozesses lernt. Diese Parameter werden in einer Datei gespeichert und während der Inferenz- oder Vorhersagephase verwendet. Meta hat insbesondere die Modellgewichte von LLaMA unter einer nicht-kommerziellen Lizenz für die Forschungsgemeinschaft freigegeben. Andere leistungsstarke LLMs, wie GPT, sind in der Regel nur über begrenzte APIs zugänglich. Raschka: "Man muss also über OpenAI gehen und auf die API zugreifen, aber man kann das Modell nicht wirklich, sagen wir mal, herunterladen oder es auf seinem Computer ausführen. Man kann im Grunde nichts Eigenes machen."