Yahoo!
02.10.2017, 10:49 Uhr
02.10.2017, 10:49 Uhr
Jetzt Open Source: Yahoos Suchalgorithmus Vespa
Das Unternehmen hinter der ehemals weltweit größten Suchmaschine im Internet Yahoo hat ein Kernstück seiner Software als Open Source veröffentlicht.
Jon Bratseth, Software-Architekt bei Yahoo
(Quelle: Quelle: Yahoo)
Das Programm heißt Vespa und bietet eine Lösung auf die Fragestellung, was man einem Kunden anzeigen soll, nachdem er einen Text in ein Suchfeld eingegeben hat. Oath (auch Verizon Technical Network), zu dem neben Yahoo rund 50 weitere Firmen gehören, nutzt das Tool in rund 150 Anwendungen, darunter Flickr, Yahoo Mail und in der Yahoo-Suche. Zudem verwaltet Vespa die Anzeige von rund drei Milliarenden Werbebannern am Tag.
Die Stärke von Vespa bringt Yahoo-Softwarearchitekt Jon Bratseth mit dem folgenden Satz auf den Punkt: "Das typische Beispiel für den Einsatz von Vespa ist, dass Sie nicht wissen, was Sie dem Kunden anzeigen sollen, aber es stehen 20 Milliarden Bilder als Antwortmöglichkeiten bereit. Vespa finden die oder das richtige in Sekundenschnelle."
Insider bezeichnen Vespa als "die größte und wichtigste Open-Source-Veröffentlichung von Yahoo seit Hadoop im Jahr 2009 zu Open Source wurde". Auch Firmen, wie Amazon, Facebook und Google könnten den Code als sehr nützlich für ihre Zwecke einstufen.
Vespa steht jetzt auf GitHub zum Auschecken bereit. Es hat eine Apache 2.0 Open-Source-Lizenz und kann zu diversen bestehenden Anwendungen hinzugefügt werden.
Die Geschichte von Vespa reicht zurück in die frühen 2000er Jahre. Damals hatte Yahoo zwar schon eine Suchtechnologie im Einsatz, aber es fehlte eine Technolgie für das Ausliefern von Suchergebnissen, die außerhalb der traditionellen Ergebnisse von Websuchen lagen. 2003 kaufte Yahoo das Unternehmen Overture und damit auch seinen damaligen Konkurrenten AltaVista mit seiner weniger bekannten Suchmaschine AllTheWeb.com. Nach dem Kauf wurden alle 30 AllTheWeb-Entwickler angewiesen innerhalb eines Jahres eine Software zu schreiben, welche einfach aufzusetzen und zu konfigurieren sein sollte und vor allem Ergebnisse liefert, noch bevor die Webseite des Kunden aufgebaut wird. Im Jahr 2005 wurde die Software dann um Funktionen für Yahoos Shopping-Team erweitert und mehr und mehr Abteilungen von Yahoo begannen die Software für ihre Zwecke zu konfigurieren und zu nutzen. Und zugleich wurden auch die Fähigkeiten von Vespa erweitert. Vespa lernte auch anderen Input als Text zu verarbeiten und auch personalisierten Content auf Basis von Klicks aus vergangenen Besuchen des Anwenders einzubeziehen. Mittlerweile arbeitet Vespa weitgehend wie ein Machine-Learning-Algorithmus.
In den zurückliegenden fünf Jahren hat die im norwegischen Trondheim ansässige Vespa Group den Code überaurbeitet und zum Teil neu geschrieben. Laut Yahoo-Softwarearchitekt Jon Bratseth bleibt auch noch einiges zu tun. So soll Vespa zum Beispiel tief in das von Google als Open Source veröffentlichte KI-Framework Tensorflow integriert werden.
Die Stärke von Vespa bringt Yahoo-Softwarearchitekt Jon Bratseth mit dem folgenden Satz auf den Punkt: "Das typische Beispiel für den Einsatz von Vespa ist, dass Sie nicht wissen, was Sie dem Kunden anzeigen sollen, aber es stehen 20 Milliarden Bilder als Antwortmöglichkeiten bereit. Vespa finden die oder das richtige in Sekundenschnelle."
Insider bezeichnen Vespa als "die größte und wichtigste Open-Source-Veröffentlichung von Yahoo seit Hadoop im Jahr 2009 zu Open Source wurde". Auch Firmen, wie Amazon, Facebook und Google könnten den Code als sehr nützlich für ihre Zwecke einstufen.
Vespa steht jetzt auf GitHub zum Auschecken bereit. Es hat eine Apache 2.0 Open-Source-Lizenz und kann zu diversen bestehenden Anwendungen hinzugefügt werden.
Die Geschichte von Vespa reicht zurück in die frühen 2000er Jahre. Damals hatte Yahoo zwar schon eine Suchtechnologie im Einsatz, aber es fehlte eine Technolgie für das Ausliefern von Suchergebnissen, die außerhalb der traditionellen Ergebnisse von Websuchen lagen. 2003 kaufte Yahoo das Unternehmen Overture und damit auch seinen damaligen Konkurrenten AltaVista mit seiner weniger bekannten Suchmaschine AllTheWeb.com. Nach dem Kauf wurden alle 30 AllTheWeb-Entwickler angewiesen innerhalb eines Jahres eine Software zu schreiben, welche einfach aufzusetzen und zu konfigurieren sein sollte und vor allem Ergebnisse liefert, noch bevor die Webseite des Kunden aufgebaut wird. Im Jahr 2005 wurde die Software dann um Funktionen für Yahoos Shopping-Team erweitert und mehr und mehr Abteilungen von Yahoo begannen die Software für ihre Zwecke zu konfigurieren und zu nutzen. Und zugleich wurden auch die Fähigkeiten von Vespa erweitert. Vespa lernte auch anderen Input als Text zu verarbeiten und auch personalisierten Content auf Basis von Klicks aus vergangenen Besuchen des Anwenders einzubeziehen. Mittlerweile arbeitet Vespa weitgehend wie ein Machine-Learning-Algorithmus.
In den zurückliegenden fünf Jahren hat die im norwegischen Trondheim ansässige Vespa Group den Code überaurbeitet und zum Teil neu geschrieben. Laut Yahoo-Softwarearchitekt Jon Bratseth bleibt auch noch einiges zu tun. So soll Vespa zum Beispiel tief in das von Google als Open Source veröffentlichte KI-Framework Tensorflow integriert werden.
