Słaba skuteczność ChatGPT w kwestiach naukowych – wyniki nowego badania.

Badanie nad ChatGPT

Jak informuje TSN.ua: Naukowcy z Washington State University, pod kierunkiem Mesuta Çiçeka, odkryli, że ChatGPT cechuje się dużą niestabilnością odpowiedzi na pytania naukowe. Szczególnie niską precyzję odnotowano w przypadku hipotez niepotwierdzonych. Sztuczna inteligencja potrafiła udzielać różnych odpowiedzi na te same pytania, nawet po dziesięciokrotnym ich powtórzeniu.

Dokładność odpowiedzi

W 2025 roku ogólna poprawność odpowiedzi ChatGPT wynosiła około 80%. Po uwzględnieniu przypadkowych zgadnięć wskaźnik ten spadał do 60%. W sytuacjach dotyczących niepotwierdzonych hipotez skuteczność w wykrywaniu fałszywych twierdzeń sięgała zaledwie 16,4%. Tylko 72,9% odpowiedzi pozostawało niezmiennie poprawnych po dziesięciu identycznych zapytaniach, co wskazuje na poważne problemy ze stabilnością i wiarygodnością dostarczanych informacji.

Autorzy podkreślają, że sztuczną inteligencję należy traktować jako narzędzie pomocnicze, mając na uwadze jej ograniczenia w zakresie dokładności i stabilności. Wyniki te uwypuklają konieczność krytycznego podejścia do wykorzystania AI w badaniach naukowych i innych dziedzinach.

Uzyskane dane mogą istotnie wpłynąć na sposób, w jaki naukowcy i specjaliści z różnych branż korzystają ze sztucznej inteligencji. Świadomość ograniczeń systemów AI w precyzji i powtarzalności odpowiedzi sprzyja bardziej ostrożnemu i świadomemu stosowaniu tych technologii, co nabiera szczególnego znaczenia w obliczu dynamicznego rozwoju sztucznej inteligencji. Może to również zachęcić do dalszych prac nad udoskonaleniem algorytmów, aby zwiększyć ich niezawodność w zastosowaniach naukowych i praktycznych.