Studie entlarvt eklatante Schwächen von ChatGPT bei wissenschaftlichen Fragen.

ChatGPT auf dem Prüfstand

Nach Angaben von TSN.ua: Eine Untersuchung von Mesut Çiçek von der Washington State University zeigt, dass ChatGPT bei wissenschaftlichen Fragestellungen äußerst inkonsistente Antworten liefert. Besonders auffällig ist die geringe Treffsicherheit, wenn es um unbelegte Hypothesen geht. Der KI-Chatbot liefert auf ein und dieselbe Frage bis zu zehn verschiedene Antworten – selbst bei wiederholter Eingabe.

Erschreckende Ergebnisse im Detail

Im Jahr 2025 lag die durchschnittliche Genauigkeit der Antworten von ChatGPT noch bei rund 80 Prozent. Doch nach Abzug reiner Zufallstreffer sank dieser Wert auf gerade einmal 60 Prozent. Besonders gravierend: Bei unbelegten Hypothesen erkannte das System nur in 16,4 Prozent der Fälle korrekt, dass die Aussagen falsch waren. Zudem blieben lediglich 72,9 Prozent der Antworten nach zehn identischen Anfragen konstant richtig – ein deutliches Zeichen für mangelnde Stabilität und Verlässlichkeit.

Die Forscher betonen, dass KI-Systeme wie ChatGPT lediglich als unterstützende Werkzeuge eingesetzt werden sollten, da ihre Ergebnisse oft unzuverlässig sind. Ein kritischer Umgang mit solchen Technologien sei daher unverzichtbar, insbesondere in wissenschaftlichen Kontexten. Die Studie verdeutlicht, wie wichtig es ist, KI-generierte Informationen stets zu hinterfragen und nicht blind zu vertrauen.

Die Erkenntnisse könnten weitreichende Folgen für den Einsatz von Künstlicher Intelligenz in Forschung und Praxis haben. Sie unterstreichen die Notwendigkeit, Algorithmen weiterzuentwickeln, um ihre Zuverlässigkeit zu erhöhen. Angesichts des rasanten Fortschritts in diesem Bereich wird ein bewusster und abwägender Umgang mit KI immer wichtiger – sowohl für Wissenschaftler als auch für Fachleute in anderen Branchen.