Datenmanagement als Erfolgsfaktor im Machine Learning (2)

Gastbeitrag von Christoph Schnidrig, Leiter Systems Engineering Team, Netapp Schweiz

Empfehlungsdienste und One-to-one-Marketing

Die Fähigkeit von Onlineportalen wie Youtube und Netflix, personalisierte Empfehlungen auszusprechen, geht auf Algorithmen zurück, die Amazon seit 1998 anwendet und 2003 publiziert hat. (1) Empfehlungsdienste (englisch Recommender Systems) sind Softwaresysteme auf der Basis des maschinellen Lernens, die dem Benutzer aus einer unübersichtlichen Menge an Objekten wie Büchern, Musikstücken oder Filmen etwas empfehlen, wofür er sich wahrscheinlich am meisten interessiert. Das System erkennt die Interessen des Benutzers anhand seines Konsums bzw. der Browser-Chronik. Durch die Analyse des Kaufverhaltens von Benutzern mit ähnlichen Interessen kann es aus dem Angebot eine Teilmenge auswählen, die auf den Kunden zugeschnitten ist. Dabei lernt das Modell laufend hinzu, indem es registriert, welche seiner Vorschläge gekauft (=gut) und welche ignoriert werden (=schlecht).

Künstliche Intelligenz und Science Fiction: Von Werkzeugen zu Akteuren

Naturgemäss ist der Topos des Konflikts zwischen Mensch und Maschine ein Lieblingsthema der Science-Fiction-Literatur. Eines der bekanntesten Beispiele für einen Computer, der intelligenter ist als die Menschen, die ihn bedienen, ist HAL 9000 in Stanley Kubricks Meisterwerk "2001 – A Space Odyssee" (2001 – Odyssee im Weltall) aus dem Jahr 1968. An Bord des Raumschiffs Discovery One, das auf dem Jupiter nach Spuren von Ausserirdischen suchen soll, rebelliert der Zentralcomputer offen gegen die Besatzung, die er fast komplett ermordet. HAL erscheint dabei immer nur als ein Kameraobjektiv mit Stimme. Intellektuell ist er den Menschen überlegen, moralisch an keinerlei Restriktionen gebunden. Etwa zur gleichen Zeit entstand die Erzählung "Die Waschmaschinen-Tragödie" des polnischen Schriftstellers Stanislav Lem. Dieser griff zwei in den 1960er Jahren besonders hervorstechende technische Entwicklungen auf und kombinierte sie miteinander: einerseits die sich rasant verbreitenden Waschvollautomaten und andererseits die Diskussion um das Potenzial der künstlichen Intelligenz. In seiner Erzählung wetteifern zwei Hersteller darum, Waschmaschinen mit neuen zusätzlichen Programmen auszustatten, die immer weniger mit Wäschewaschen zu tun haben. Schon auf der zweiten Textseite haben die Waschmaschinen menschliche Gestalt angenommen und können rein äusserlich nicht mehr von Menschen unterschieden werden. Der Bordcomputer eines Raumschiffs ruft schliesslich einen Roboterstaat aus und gründet eine "kybernophile", automatenhingeneigte Sekte, die die Weltherrschaft anstrebt.

Auf die Euphorie folgt der AI-Winter

Die ersten ganz einfachen neuronalen Netze der 1970er Jahre, die Bilderkennung ermöglichten, hatten Eigenschaften, die denen des Gehirns entsprachen und auf den ersten Blick wie Magie wirkten. Es entstand die Erwartung, dass sich die künstliche Intelligenz zu einer Schlüsseltechnologie entwickeln würde und dass Computersysteme schon bald repetitive Aufgaben aus der Arbeitswelt übernehmen könnten. KI würde zur Entlastung der Arbeitnehmer, zu schnelleren und besseren Ergebnissen und zu Kosteneinsparungen führen. Doch die Fortschritte in der Entwicklung künstlich intelligenter Softwaresysteme blieben hinter diesen Erwartungen zurück. Zum einen hatten die Speichersysteme nicht die erforderlichen Kapazitäten und I/O-Performance, sodass die grossen Datenmengen zum Trainieren der Systeme fehlten, zum andern waren die Computer nicht schnell genug für die aufwendigen Berechnungen. Den Entwicklern unterlief wohl auch der eine oder andere Fehler. Weil sich nicht absehen liess, wie die Modelle jemals sinnvoll und profitabel eingesetzt werden könnten, verloren ab etwa 1990 sowohl die Verantwortlichen bei den staatlichen Forschungsförderungsorganisationen wie auch Risikokapitalgeldgeber ihr Interesse an der künstlichen Intelligenz bzw. dem maschinellen Lernen. Die vielversprechende Industrie brach zusammen. In Anlehnung an den "nuklearen Winter" wird diese Phase als "AI-Winter" bezeichnet.

Convolutional Neural Networks ermöglichen den Durchbruch

Der französische Informatiker Yann LeCun, seinerzeit Forscher an den Bell Laboratories in New Jersey und heute Leiter der KI-Forschung bei Facebook, präsentierte 2006 die ersten Convolutional Neural Networks (CNN). Diese Entwicklung markierte das Ende des AI-Winters und den Beginn des noch heute andauernden Hypes. Die früheren neuronalen Netze – aus der Zeit vor dem AI-Winter – hatten bei der Bilderkennung noch zwischen Objekt und Hintergrund unterschieden und gleichzeitig versucht, ein Objekt im gesamten Bild zu erkennen, was aufwändige Entwicklerarbeit verlangte und sich nicht auf andere Daten anwenden liess. In den neuen Systemen verwarf man das sogenannte Feature Engineering – die Erkennung von charakteristischen Merkmalen – und überliess es dem Modell, zu entscheiden, welche Kennzeichen relevant sind. CNN basieren auf der Tatsache, dass jeder Teil eines Bildes gleich behandelt werden kann. Anstelle eines grossen neuronalen Netzes für die Analyse des gesamten Bildes benutzt das CNN ein viel kleineres, das immer nur einen Teil des Bildes analysiert, aber Schritt für Schritt über das ganze Bild geschoben wird. Daraus ergibt sich wieder ein Bild, welches mit einer weiteren Schicht analysiert wird. Die Filter der Schichten sind verschieden, und das Modell lernt, sie so zu wählen, dass die Schichten kleinere Features von der vorherigen Schicht zu komplexen Features kombinieren kann. Dabei kommen Standardbilddatenbanken wie Imagenet zum Einsatz, in denen zum Beispiel 15 verschiedene Hunderassen "getagged" sind. Mit einer grossen Anzahl von Bildern und den dazugehörigen Tags werden die Systeme trainiert und so optimiert. Das Trainieren bestimmt dabei die eigentliche Cleverness, die also eher in den Daten begründet ist als im Programmcode.

Mit RNN erlernen Maschinen das zuvor Unerlernbare

Eine Arbeitsgruppe des deutschen Informatikers Jürgen Schmidhuber entwickelte 1991 eine Methode, um bis dahin nicht lernbare Aufgaben für Maschinen erlernbar zu machen: die sogenannten rückgekoppelten neuronalen Netze (Recurrent Neural Networks, kurz RNN). Die in Schichten angeordneten Modellneuronen sind dabei nicht nur innerhalb einer Schicht miteinander verbunden, sondern auch von Schicht zu Schicht. Im Gehirn ist dies die bevorzugte Verknüpfung neuronaler Netze, insbesondere im Neocortex. Diese Verschaltungsweise ermöglicht es, in den Daten zeitlich codierte Informationen zu entdecken. Zur Anwendung kommen rekurrente neuronale Netze beim Verarbeiten von Sequenzen, zum Beispiel in der Spracherkennung, der Handschrifterkennung und der maschinellen Übersetzung. Dank RNN erkennen die Systeme nicht nur einzelne Wörter, sondern auch deren Kontext. In Abhängigkeit von dem, was vorhergesagt wurde, versucht der Computer herauszufinden, was als Nächstes gesagt werden könnte.

Jürgen Schmidhuber verbesserte das System 1997 zusammen mit dem deutschen Informatiker Sepp Hochreiter noch weiter, indem er die Technik "long short-term memory" (LSTM) entwickelte. Das "lange Kurzzeitgedächtnis" verleiht dem maschinellen Lernen eine Art Erinnerung an frühere Erfahrungen: ein Kurzzeitgedächtnis, das lange anhält. Schmidhuber bezeichnet seine Recurrent Neural Networks mit LSTM als Deep-Learning-Netzwerke. Diese Technik, das Deep Learning (DL), feiert seit 2016 bedeutende Erfolge und ist für den aktuellen Boom der künstlichen Intelligenz verantwortlich.

Inzwischen ist eine perfekte Balance entstanden – immer komplexere Probleme lassen sich mit immer komplexeren Modellen gerade noch lösen. Das weckt neue Bedürfnisse – und ermöglicht Investitionen in schnellere Hardware. Während des AI-Winters war die verfügbare Rechenleistung zu klein, um wirklich relevante Probleme lösen zu können. Der Hardwarebedarf bei klassischen Rechenzentrumsaufgaben führte dann zwangsläufig zu Verbesserungen bei CPUs und Speichersystemen. Die Entwicklung von noch schnelleren CPUs dürfte vor allem dem Leistungshunger der Gamer zu verdanken sein. Die besonders schnellen Grafikprozessoren stehen seither auch fürs maschinelle Lernen zur Verfügung, sodass heute grosse Datenmengen zum Training genutzt werden können. Durch die besseren Ergebnisse im maschinellen Lernen lohnen sich nun auch Direktinvestitionen ins ML, sodass nun auch spezielle ML-Chips entwickelt werden können.

Fussnote: (1) https://www.computer.org/csdl/mags/ic/2017/03/mic2017030012.html
G. Linden, B. Smith, and J. York, “Amazon.com Recommendations: Item-to-Item Collaborative Filtering,” IEEE Internet Computing, vol. 7, no. 1, 2003, pp. 76–80.

Zu Teil 1 der Serie hier!!
Zu Teil 3 der Serie hier!!
Zu Teil 4 der Serie hier!!