Der jüngste KI-Chatbot "GPT-4" von Open AI soll künftig auch die Buchhaltung von Unternehmen übernehmen. Er hat, beteuert Open AI, die entsprechende Prüfung mit hoher Punktzahl bestanden. Dennoch ist die Software Studenten unterlegen, gegen die ihn die Brigham Young University (BYU) und 186 andere Universitäten antreten liessen.
Die Fragen betrafen Rechnungslegungsinformationssysteme (AIS), Wirtschaftsprüfung, Finanzbuchhaltung, Controlling und Steuern. Sie unterschieden sich in Schwierigkeitsgrad und Art (wahr/falsch, Multiple-Choice, Kurzantwort). Die Studenten erzielten einen Gesamtdurchschnitt von 76,7 Prozent, verglichen mit 47,4 Prozent bei ChatGPT. Bei 11,3 Prozent der Fragen schnitt ChatGPT besser ab als der Studentendurchschnitt - besonders gut in den Bereichen AIS und Auditing. Bei Steuer-, Finanz- und Management-Bewertungen schnitt der Bot schlechter ab.
Bei Fragen, die mit richtig oder falsch beantwortet werden mussten, und bei Multiple-Choice-Fragen schnitt der Bot besser ab als die Studenten, hatte aber massive Probleme bei Kurzantwortfragen. Im Allgemeinen waren übergeordnete Fragen für ChatGPT schwieriger zu beantworten. Tatsächlich lieferte ChatGPT manchmal massgebliche schriftliche Beschreibungen für falsche Antworten oder beantwortete dieselbe Frage auf unterschiedliche Weise.
"Es ist nicht perfekt; man kann die Software nicht für alles verwenden. Der Versuch, nur mit ChatGPT zu lernen, dürfte scheitern", sagt Jessica Wood, die ihr Studium an der BYU gerade begonnen hat. ChatGPT phantasiert sich manchmal vermeintliche Fakten zusammen, heisst es.
"Als diese Technologie zum ersten Mal auf den Markt kam, waren alle besorgt, dass die Studenten sie zum Schummeln verwenden könnten", so der leitende Studienautor David Wood. "Aber Möglichkeiten zu betrügen gab es schon immer. Wir versuchen also, uns auf das zu konzentrieren, was wir jetzt mit dieser Technologie tun können, was wir vorher nicht tun konnten, um den Lehrprozess für die Fakultät und den Lernprozess für die Studenten zu verbessern."
Der Online-Stellenmarkt für ICT Professionals