Американские ученые провели масштабный эксперимент, чтобы выяснить, насколько точно современные системы искусственного интеллекта способны оценивать научные утверждения. Для этого они предложили ChatGPT проанализировать более 700 гипотез из реальных научных исследований и определить, являются ли они правдивыми или ложными, сообщает znaj.org.
На первый взгляд результаты выглядели довольно оптимистично. В 2024 году точность ответов составляла 76,5%, а уже в 2025-м выросла до 80%. Однако после учета фактора случайного угадывания реальная эффективность системы значительно снизилась — примерно до 60%.
Особенно слабым местом оказалась способность ИИ распознавать ложные утверждения. В этом случае правильные ответы составляли лишь 16,4%, что, по словам исследователей, свидетельствует о серьезных ограничениях в логическом анализе.
Кроме того, ученые зафиксировали еще одну проблему — непоследовательность ответов. Даже если задавать один и тот же вопрос несколько раз подряд, ChatGPT может давать разные результаты. Это ставит под сомнение его надежность в задачах, где требуется стабильность и точность.
Исследователи подчеркивают, что современные модели искусственного интеллекта не «понимают» информацию в человеческом смысле. Они работают на основе статистических закономерностей и больших массивов данных, а не настоящего мышления. Именно поэтому ответы ИИ могут звучать убедительно, но при этом быть ошибочными.
По мнению авторов работы, создание искусственного интеллекта, который действительно способен к полноценному логическому мышлению, может занять значительно больше времени, чем ожидается.
В итоге ученые советуют пользователям относиться к ответам ИИ критически и обязательно проверять информацию, особенно когда речь идет о науке, медицине или других важных сферах.