Im Rahmen der seiner Techxchange-Veranstaltung lancierte der IT-Dienstleistungsriese IBM kürzlich die dritte Generation seiner KI-Modell-Familie "Granite". Im Rahmen von IBM's Open-Source-KI-Engagement werden die Granite-Modelle unter einer uneingeschränkten Apache 2.0-Lizenz veröffentlicht.
Die Granite 3.0-Familie von Big Blue umfasst:
- Allgemeine Anwendungen/Sprachen: Granite 3.0 8B-Instruct, Granite 3.0 2B-Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base
- Leitplanken und Sicherheit: Granite Guardian 3.0 8B, Granite Guardian 3.0 2B
- Mischung aus Experten: Granite 3.0 3B A800M Instruct, Granite 3.0 1B A400M Instruct, Granite 3.0 3B A800M Base, Granite 3.0 1B A400M Base
Die neuen Granite 8B- und 2B-Modelle seien als "Arbeitspferde" für die KI in Unternehmen für Aufgaben wie Retrieval Augmented Geneneration (RAG), Klassifizierung, Zusammenfassung, Entitätsextraktion und Toolnutzung entwickelt worden, heisst es in einer Aussendung dazu. Für die Feinabstimmung mit Unternehmensdaten konzipiert, sollen sie sich nahtlos in jede Geschäftsumgebung und jeden Arbeitsablauf integrieren lassen.
Während viele grosse Sprachmodelle (LLMs) auf öffentlich verfügbaren Daten trainiert würden, bleibe ein Grossteil der Unternehmensdaten ungenutzt, betont man bei IBM. Durch die Kombination eines kleinen Granite-Modells mit Unternehmensdaten, insbesondere unter Verwendung der Alignment-Technik Instructlab, die von IBM und der Opensource-Tochter Redhat im Mai vorgestellt wurde, könnten Unternehmen nun eine aufgabenspezifische Leistung erzielen, die mit grösseren Modellen konkurriere, und dies zu einem Bruchteil der Kosten (basierend auf einer beobachteten Spanne von 3- bis 23-fach geringeren Kosten als bei grossen Frontier-Modellen in mehreren frühen Proof-of-Concept).
Der technische Bericht zu Granite 3.0 und der Leitfaden zur verantwortungsvollen Nutzung enthalten eine Beschreibung der Datensätze, die zum Trainieren dieser Modelle verwendet wurden, Einzelheiten zu den angewandten Filter-, Bereinigungs- und Kuratierungsschritten sowie die Ergebnisse der Modellleistung in wichtigen akademischen und Unternehmens-Benchmarks. Entscheidend sei, dass IBM eine IP-Entschädigung für alle Granite-Modelle auf Watsonx.ai anbiete, damit Unternehmenskunden ihre Daten vertrauensvoll mit den Modellen zusammenführen könnten.
Den Angaben zufolge liege die Gesamtleistung des Granite 3.0 8B Instruct-Modells bei akademischen Standard-Benchmarks, die vom Hugging Face OpenLLM Leaderboard definiert wurden, im Durchschnitt über der Leistung von Open-Source-Modellen ähnlicher Grösse von Meta und Mistral. Bei IBMs Sicherheitsbenchmark AttaQ sei das Granite 3.0 8B Instruct Modell in allen gemessenen Sicherheitsdimensionen führend im Vergleich zu Modellen von Meta und Mistral.2, heisst es weiters.
IBM bietet seine Granite Mixture of Experts (MoE) Architecture-Modelle, Granite 3.0 1B-A400M und Granite 3.0 3B-A800M, als kleinere, leichtgewichtige Modelle an, die sowohl für Anwendungen mit geringer Latenz als auch für CPU-basierte Implementierungen eingesetzt werden können und ein Gleichgewicht zwischen Leistung und Inferenzkosten bieten.
Darüber hinaus kündigte IBM auch eine aktualisierte Version seiner vortrainierten Granite-Zeitreihenmodelle an, deren erste Versionen Anfang des Jahres veröffentlicht wurden. Diese neuen Modelle seien mit dreimal so vielen Daten trainiert worden und sollen eine starke Leistung bei allen drei wichtigen Zeitreihen-Benchmarks liefern und die 10-mal grösseren Modelle von Google, Alibaba und anderen übertreffen.
Im Rahmen dieser neuen Granite-Version führt IBM auch eine neue Familie von Granite Guardian-Modellen ein, die es Anwendungsentwicklern ermöglichen sollen, Sicherheitsleitplanken zu implementieren, indem sie Benutzeraufforderungen und LLM-Antworten auf eine Vielzahl von Risiken überprüfen. Die Granite Guardian 3.0 8B- und 2B-Modelle damit die umfassendste Palette an Risiko- und Schadenserkennungsfunktionen bieten, die derzeit auf dem Markt erhältlich sei, verspricht Big Blue.
Zusätzlich zu den Schadensdimensionen wie soziale Voreingenommenheit, Hass, Toxizität, Obszönität, Gewalt, Gefängnisausbruch und bieten diese Modelle den IBM-Angaben zufolge auch eine Reihe spezieller RAG-spezifischer Prüfungen, wie z. B. Fundiertheit, Kontextrelevanz und Antwortrelevanz. In umfangreichen Tests mit 19 Sicherheits- und RAG-Benchmarks habe das Granite Guardian 3.0 8B-Modell eine höhere Gesamtgenauigkeit bei der Schadenserkennung als alle drei Generationen der Llama Guard-Modelle von Meta. Auch bei der Erkennung von Halluzinationen liege es im Durchschnitt gleichauf mit den spezialisierten Halluzinationserkennungsmodellen Wecheck und Minicheck.
Obwohl die Granite Guardian-Modelle von den entsprechenden Granite-Sprachmodellen abgeleitet seien, könnten sie zur Implementierung von Leitplanken neben allen offenen oder proprietären KI-Modellen verwendet werden.
Verfügbarkeit der Granite 3.0-Modelle:
Die gesamte Suite der Granite 3.0 Modelle und die neuen Zeitreihenmodelle stehen auf Huggingface unter der uneingeschränkten Apache 2.0 Lizenz zum Download bereit. Die Instruct-Varianten der neuen Granite 3.0 8B- und 2B-Sprachmodelle und die Granite Guardian 3.0 8B- und 2B-Modelle sind ab sofort für die kommerzielle Nutzung auf der Watsonx-Plattform von IBM verfügbar. Eine Auswahl der Granite 3.0-Modelle wird auch als Nvidia NIM Microservices und über die Vertex AI Model Garden-Integrationen von Google Cloud mit Huggingface verfügbar sein.
IBM hat laut den Angaben mit Ökosystempartnern wie AWS, Docker, Domo, Qualcomm Technologies, Inc. über seinen Qualcomm AI Hub, Salesforce, SAP und anderen zusammengearbeitet, um eine Vielzahl von Granite-Modellen in die Angebote dieser Partner zu integrieren oder Granite-Modelle auf ihren Plattformen verfügbar zu machen, was Unternehmen auf der ganzen Welt eine grössere Auswahl bieten soll. Um Entwicklern eine grössere Auswahl und eine einfachere Nutzung zu ermöglichen und lokale Edge-Implementierungen zu unterstützen, ist eine Auswahl der Granite 3.0-Modelle auch auf Ollama und Replicate verfügbar.
Darüber hinaus haben die Armonker auch die nächste Generation von Watsonx Code Assistant vorgestellt, die auf Granite-Code-Modellen basiert und allgemeine Unterstützung bei der Codierung in Sprachen wie C, C++, Go, Java und Python sowie erweiterte Funktionen zur Anwendungsmodernisierung für Enterprise-Java-Anwendungen bieten soll. Die Code-Funktionen von Granite sind demnach jetzt auch über eine Visual Studio Code-Erweiterung, IBM Granite.Code, zugänglich.
Der Online-Stellenmarkt für ICT Professionals