Die Open-Source-Tochter von IBM, Red Hat, eine neue Generation ihrer Linux-KI-Plattform "Red Hat Enterprise Linux AI" (RHEL AI) zur allgemeinen Verfügbarkeit freigegeben. Enterprise Linux KI ist eine Version der Linux-Kernplattform des Unternehmens, die für die Entwicklung, das Testen und den Betrieb grosser Sprachmodelle (LLM) mit künstlicher Intelligenz optimiert ist.
In der Version 1.3 wartet RHEL AI 1.3 mit Erweiterungen der LLM-Familie (Large Language Model) Granite auf und integriert Open-Source-Tools zur Datenaufbereitung. Gleichzeitig bleibe die Flexibilität für hybride Cloud-Bereitstellungen erhalten, einschliesslich einer optimierten Unterstützung für beschleunigte Computing-Architekturen, so Red Hat.
Red Hat positioniert RHEL AI als zentralen Baustein seiner KI-Strategie. Die Plattform kombiniert die Open-Source-basierte Granite-Modellfamilie mit den Instructlab-Tools, die auf der LAB-Methodik (Large-Scale Alignment for Chatbots) beruhen. Diese Komponenten werden in einem optimierten, bootfähigem Image von Red Hat Enterprise Linux bereitgestellt, das flexibel auf individuellen Servern in jeder Hybrid-Cloud-Umgebung einsetzbar ist.
Mit der Version RHEL AI 1.3 stärkt Red Hats die Unterstützung von Granite-LLMs durch die Integration von Granite 3.0 8b, das speziell für englischsprachige Anwendungsfälle konzipiert ist. Granite 3.0 8b ist ein Modell, das neben Englisch auch ein Dutzend weiterer Sprachen, Codegenerierung und Funktionsaufrufe unterstützt. Nicht-englischsprachige Anwendungen, Code und Funktionen stehen in RHEL AI 1.3 als Developer Preview zur Verfügung und sollen in zukünftigen Versionen vollständig unterstützt werden.
Joe Fernandes, Vice President und General Manager, Artificial Intelligence Business Unit, Red Hat, zur Ankündigung von RHEL AI 1.3: "Wir sind davon überzeugt, dass kleinere, optimierte Modelle notwendig sind, um die transformative Kraft der Künstlichen Intelligenz zu nutzen – und dass diese Modelle überall in der Hybrid Cloud bereitgestellt werden müssen. Unsere Erweiterungen für RHEL AI bauen auf dieser Überzeugung auf, indem sie die Vorbereitung von Unternehmensdaten für privates Modelltraining mit Docling erleichtern und die neuesten Fortschritte in der Granite-Familie von Open-Source-lizenzierten LLMs integrieren."
Docling ist ein kürzlich von IBM Research veröffentlichtes Community-Projekt, das dabei helfen soll, gängige Dokumentenformate zu analysieren und in Formate wie Markdown oder JSON zu konvertieren, um sie für KI-Anwendungen und das Training vorzubereiten. Diese in RHEL AI 1.3 ab sofort unterstützte Funktion soll Nutzern dabei unter die Arme greifen, PDFs in Markdown zu konvertieren und damit die Datenaufbereitung für das Modell-Tuning mit InstructLab zu vereinfachen. Mit Docling umfasst RHEL AI 1.3 jetzt auch kontextbezogenes Chunking, das die Struktur und semantischen Elemente der für das GenAI-Training verwendeten Dokumente berücksichtigt. Dadurch sollen GenAI-Anwendungen ein höheres Mass an Kohärenz erhalten und kontextgerechte Antworten auf Fragen und Aufgaben liefern, die andernfalls weiteres Tuning und Anpassen erfordert hätten.
In künftigen Versionen von RHEL AI soll die Unterstützung für Docling weiter ausgebaut und verfeinert werden, einschliesslich zusätzlicher Dokumentenformate sowie der Integration von RAG-Pipelines (Retrieval-Augmented Generation) neben dem InstructLab-Knowledge-Tuning.
RHEL AI unterstützte bereits die Technologien von Nvidia und AMD, mit der Version 1.3 kommt nun auch Intel Gaudi 3 als Technology Preview hinzu.
Über die Chip-Architektur hinaus erhält RHEL AI auch Support grosser Cloud-Anbieter wie AWS, Google Cloud und Microsoft Azure, als BYOS-Angebot (Bring Your Own Subscription). In Kürze soll die Plattform auch als optimierte und validierte Lösung auf dem Azure Marketplace und dem AWS Marketplace verfügbar sein. RHEL AI ist zudem eine priorisierte Foundation-Model-Plattform auf beschleunigten Hardware-Angeboten von Red Hat-Partnern, darunter Dell Poweredge R760xa-Server und Lenovo Thinksystem SR675 V3-Server.
Red Hat Openshift AI ermöglicht neue auch die Parallelisierung des Model Servings über mehrere Nodes mit vLLM-Laufzeiten, wodurch mehrere Anfragen in Echtzeit bearbeitet werden können. Zusätzlich könnten Anwender die Parameter eines LLM dynamisch anpassen, um etwa das Modell auf mehrere GPUs aufzuteilen oder es für einen kleineren Footprint zu quantisieren, so die Angaben. Diese Verbesserungen sollen die Reaktionszeiten verkürzen, die Kundenzufriedenheit steigern und die Abwanderung verringern.
RHEL AI bildet zusammen mit Red Hat Openshift AI die Grundlage für Red Hat AI, das Markteinführungen beschleunigen und die Betriebskosten für die Bereitstellung von KI-Lösungen in der Hybrid Cloud reduzieren soll. RHEL AI unterstützt demnach einzelne Linux-Serverumgebungen, während Red Hat Openshift AI verteilte Kubernetes-Plattformumgebungen betreibt und integrierte MLOps-Funktionen bietet. Beide Lösungen sind miteinander kompatibel, wobei Red Hat Openshift AI alle Funktionen von RHEL AI beinhalte, um in grossem Umfang bereitgestellt werden zu können.
Verfügbarkeit:
RHEL AI 1.3 ist ab sofort allgemein verfügbar. Weitere Informationen über zusätzliche Funktionen, Verbesserungen, Fehlerkorrekturen und zur Aktualisierung auf die neueste Version: https://docs.redhat.com/en/documentation/red_hat_enterprise_linux_ai/1.3
