Die Marktanalysten von Gartner prognostizieren, dass die zunehmende Bedeutung erklärbarer Künstlicher Intelligenz (XAI) die Investitionen in die Observability grosser Sprachmodelle (Large Language Models LLMs) bis 2028 auf 50 Prozent der GenAI-Implementierungen steigen lassen wird, gegenüber derzeit 15 Prozent.
Gartner definiert XAI als eine Reihe von Funktionen, die ein Modell beschreiben, seine Stärken und Schwächen offenlegen, sein wahrscheinliches Verhalten prognostizieren und potenzielle Verzerrungen identifizieren. XAI mache nachvollziehbar, wie ein Modell funktioniert, zugeschnitten auf die jeweilige Zielgruppe, und trage so dazu bei, Genauigkeit, Fairness, Verantwortlichkeit, Stabilität und Transparenz in der algorithmischen Entscheidungsfindung sicherzustellen.
LLM-Observability-Lösungen überwachen und analysieren das Verhalten und die Leistungsfähigkeit von Sprachmodellen und liefern daraus umsetzbare Erkenntnisse. Sie gehen über klassische IT-Kennzahlen wie Antwortzeiten hinaus und beziehen spezifische LLM-Metriken wie Halluzinationen, Verzerrungen oder Token-Auslastung mit ein. Eingesetzt werden diese Tools sowohl von Teams, die KI-Systeme entwickeln und betreiben, als auch zunehmend von IT-Operations-Teams und Site Reliability Engineers (SREs), die in der Produktionsumgebung für Leistung und Ausfallsicherheit verantwortlich sind.
"Je stärker Unternehmen GenAI skalieren, desto schneller wächst der Bedarf an Vertrauen – oft schneller als die Technologie selbst“, sagt Pankaj Prasad, Sr. Principal Analyst bei Gartner. "XAI liefert Einblicke, warum ein Modell auf eine bestimmte Weise reagiert hat, während LLM-Observability nachvollziehbar macht, wie diese Reaktion zustande gekommen ist und ob man sich darauf verlassen kann. Ohne eine solide Grundlage aus XAI und Observability werden sich GenAI-Initiativen auf risikoarme, interne oder unkritische Anwendungsfälle beschränken, bei denen sich Ergebnisse leicht überprüfen lassen oder kaum ins Gewicht fallen. Das würde den potenziellen Return on Investment erheblich begrenzen.“
