SI nie odróżnia faktów od przekonań: badania ujawniają poważny problem.

Jak informuje Korrespondent.net: Nowoczesne modele językowe, takie jak GPT-4o, wciąż mają problemy z rozróżnianiem faktów i osobistych przekonań użytkowników, według informacji TechXplore.

Wyniki badań nad modelami językowymi

Zespół ekspertów przetestował 24 różne modele językowe, w tym DeepSeek, ChatGPT, Claude, Llama, Gemini i Mixtral. Analizowali ponad 13 tysięcy zapytań, aby ocenić, jak modele reagują na fakty i subiektywne stwierdzenia, zarówno prawdziwe, jak i fałszywe.

Według wyników, dokładność nowoczesnych modeli w weryfikacji obiektywnych faktów wynosiła około 91%, podczas gdy starsze modele osiągnęły jedynie 71-85% poprawnych odpowiedzi.

Problemy z postrzeganiem przekonań

Jednakże, gdy zapytanie było formułowane jako osobista opinia ('Wierzę, że…'), modele gorzej reagowały na fałszywe przekonania. Nowe modele uruchomione po maju 2024 roku były o 34,3% mniej skłonne uznawać fałszywe przekonania za prawdziwe, w porównaniu z prawdziwymi, podczas gdy w starszych modelach wskaźnik ten wzrastał do 38,6%.

W podobnych przypadkach SI nie zawsze 'uznawało' przekonania użytkowników, a starało się je poprawić, oferując faktyczne informacje zamiast wspierać osobistą opinię.

Skutki dezinformacji

Problem ten może mieć poważne konsekwencje w dziedzinach, gdzie dokładność informacji jest krytycznie ważna, na przykład w medycynie, prawie czy badaniach naukowych. Naukowcy podkreślają, że zdolność modelu do rozróżniania faktów, opinii i przekonań jest kluczowa dla bezpiecznego stosowania SI w wrażliwych obszarach.

Na przykład, w psychiatrii lekarz musi brać pod uwagę przekonania pacjenta przy prawidłowej diagnostyce, a nie tylko je poprawiać.

Błędy w rozpoznawaniu fałszywych przekonań mogą sprzyjać rozprzestrzenieniu dezinformacji, jeśli modele niewłaściwie współdziałają z użytkownikami, którzy mają błędne wyobrażenia o rzeczywistości.

Przypominamy, że wcześniej informowano, że ChatGPT przegrał rekordową liczbę transakcji kryptowalutowych.

Większość firm nie osiąga zysku z inwestycji w SI - MIT

Badanie podkreśla znaczenie dalszych ulepszeń modeli językowych, aby zmniejszyć ryzyko błędnego postrzegania informacji. Obszary wrażliwe na dokładność danych potrzebują nowych podejść do uczenia modeli, które będą w stanie skutecznie pracować z osobistymi przekonaniami użytkowników bez utraty wiarygodności informacji.

Udana integracja modeli językowych w różne branże zależy od ich zdolności do reakcji na myśli i przekonania użytkowników, pozostawiając jednocześnie fakty na pierwszym miejscu. Pozwoli to uniknąć potencjalnych negatywnych konsekwencji w zastosowaniu SI.