Laut Prognosen des Marktforschungsunternehmens Gartner werden sich die KI-Inferenzkosten pro agenten-basiertem Workflow bis 2028 mehr als verfünffachen. Da sich KI-Produkte von unterstützenden Funktionen hin zu mehrstufigen, agentenbasierten Prozessen entwickeln, stehen Produktverantwortliche vor einer neuen Herausforderung für ihre Margen. Zwar sinken die Preise für KI-Modelle, doch dadurch werden immer komplexere Workflows wirtschaftlich möglich. Mit der Folge, dass die Gesamtkosten für KI deutlich steigen. Das Management der Inferenzkosten ist deshalb zu einer der wichtigsten Prioritäten für Produktverantwortliche geworden.
"Produktverantwortliche können nicht darauf setzen, dass eine effizientere Token-Ökonomie die KI-Kosten nachhaltig senkt", sagt Will Sommer, Senior Director Analyst bei Gartner. "Jede neue Generation von KI-Funktionen benötigt mehr und häufig auch teurere Token. Ein verlässliches und wirtschaftlich tragfähiges Kostenmodell pro Einheit ist derzeit nicht in Sicht. Wer wettbewerbsfähige KI-Produkte entwickeln will, muss komplexe Ökosysteme aus mehreren Modellen aufbauen und dauerhaft betreiben."
