Unternehmen, die Anwendungen auf Basis von AI, ML und Deep Learning erstellen, können ihre Ziele auf Dauer nicht mit einer traditionellen Speicherinfrastruktur erreichen, denn diese beeinträchtigt die Produktivität der Datenwissenschaftler, Inhaltsersteller und Analysten, die täglich auf diese Daten angewiesen sind. Sie müssen sich zwangsläufig mit den Möglichkeiten von Speicherarchitekturen der neuesten Generation basierend auf NVMe und RDMA auseinandersetzen.
Gastbeitrag von Ines Wolf, Manager Pre-Sales Zentraleuropa bei Quantum
Die Auswirkungen von Künstlicher Intelligenz (KI) und Maschinellem Lernen (ML) auf unser Leben waren bisher noch überschaubar. Seitdem jedoch OpenAI mit ChatGPT für Furore sorgt, klingen die enthusiastischen AI-Prognosen aus den letzten Jahren kaum noch futuristisch. Es steht nicht mehr zur Debatte, dass AI und andere Formen des Maschinellen Lernens das Leben und die Wirtschaft nachhaltig verändern werden. Denn mit AI-Tools lassen sich wiederholende Aufgaben automatisieren und beschleunigen. Möglich machen das neue AI-Anwendungen - auf der Grundlage riesiger Datenmengen. Die Entwicklung von Deep-Learning-Anwendungen erfolgt dabei im Allgemeinen in drei Schritten: Datenaufbereitung, Modelltraining und Schlussfolgerung.
- Datenaufbereitung (data preparation): Riesige Mengen an Rohmaterial werden in verwertbare Daten umgewandelt.
- Modelltraining (model training): Softwareprogramme werden darauf trainiert, aus den Daten eine neue Fähigkeit zu erlernen.
- Schlussfolgerung (inference): Das Programm wendet das Gelernte auf neue Daten an.
Man muss kein Spezialist sein, um zu sehen, dass Daten die Basis für AI sind. Entsprechend kann erwartet werden, dass mit mehr AI-Anwendungen ein massives Datenwachstum einhergeht. Branchenanalysten gehen davon aus, dass sich die Kapazität unstrukturierter Daten – also Dateien und Objekte - in den nächsten Jahren verdoppeln oder sogar verdreifachen wird. AI, ML und Deep Learning werden einen grossen Anteil an diesem Wachstum haben.
Neue Ära für Datenspeicherung
Diese "neue Ära" für Daten stellt die Verantwortlichen für die IT-Infrastruktur vor einige besondere Herausforderungen. Die Datensätze haben einen Umfang und ein Volumen, welche exponentiell grösser sind als alles andere je zuvor. Unternehmen, die beispielsweise Machine-Learning-Technologien für Autonomes Fahren entwickeln, erzeugen im Allgemeinen in nur wenigen Jahren mehr als ein Exabyte an Daten. Autonomes Fahren ist eine Form des Maschinellen Lernens, insbesondere des maschinellen Sehens, das auf Bild- und Videodaten beruht. Es wird erwartet, dass sich das Datenwachstum aufgrund von AI und ML in den nächsten fünf Jahren noch weiter beschleunigen wird.
Anforderungen an die Storage-Infrastruktur
Über die einfache Speicherung dieser gigantischen Datenmengen hinaus, stellen solche Deep-Learning-Anwendungen enorme Anforderungen an die Leistung der Speicherinfrastruktur. Denn die Verarbeitung dieser riesigen unstrukturierten Datensätze erfordert extrem niedrige Latenzzeiten und auch in diesem Massstab konsistente Performance. Festplattenbasierte Speichersysteme, die auf seriellen Festplatten basieren, können diese Anforderungen einfach nicht mehr erfüllen. Um die nötigen niedrigen Latenzzeiten und höhere Performance zu garantieren, setzen Unternehmen auf neue verteilte Architekturen basierend auf NVMe und RDMA. Die Nutzung dieser auf Flash basierten Speicher werden aufgrund der sinkenden Preise für Flashspeicher auch immer häufiger eingesetzt.
Der Ort der Speicherung dieser neuen Daten ist ein weiterer Faktor, den es zu beachten gilt. Denn die Daten befinden sich in den seltensten Fällen bequem auf dem Primärspeicher im Hauptrechenzentrum. In den meisten Fällen werden die Daten irgendwo ausserhalb des Rechenzentrums erzeugt und anschliessend zur Verarbeitung an einen anderen Ort transferiert. Dies kann in der Public Cloud oder in einem Rechenzentrum geschehen, oder - was wahrscheinlicher ist – finden Teile der Datenverarbeitung an beiden Orten statt. Datentransport und -verwaltung über den gesamten Lebenszyklus der Daten hinweg sind also wichtige Aspekte für die Verantwortlichen der IT-Infrastruktur. Insbesondere, da diese Datenmengen und ihre Modelle über Jahrzehnte aufbewahrt werden, falls die Programme neu trainiert werden müssen.
All diese Faktoren haben bereits Druck auf alte Speicherarchitekturen ausgeübt. Der grösste Teil der unstrukturierten Daten wird auf Systemen gespeichert, die vor über 20 Jahren entwickelt wurden, als man sich noch nicht vorstellen konnte, dass zukünftig Billionen von Daten und Objekten jahrzehntelang gespeichert werden und die meisten Dateien von Maschinen und nicht von Menschen erstellt werden.
Fazit:
Es ist offenkundig, dass Unternehmen, die Anwendungen auf Basis von AI, ML und Deep Learning erstellen, ihre Ziele auf Dauer nicht mit einer traditionellen Speicherinfrastruktur erreichen, denn diese beeinträchtigt die Produktivität der Datenwissenschaftler, Inhaltsersteller und Analysten, die täglich auf diese Daten angewiesen sind. Schlussendlich müssen diese Unternehmen sich mit den Möglichkeiten von Speicherarchitekturen der neuesten Generation auseinandersetzen. NVMe und RDMA werden hier zwangsläufig Teil der Planung sein müssen.
