Исследование специалистов из Университета Пердью (США) показало, что широко используемые чат-боты часто допускают ошибки при даче советов программистам. Эта работа была опубликована на конференции CHI по человеческому фактору в вычислительных системах.
По мнению авторов исследования, первыми пользователями чат-ботов стали IT-специалисты, обращающиеся к искусственному интеллекту с техническими вопросами или просившие помощи в редактировании кода. Ученые провели анализ 517 вопросов по программированию с сайта StackOverflow, где специалисты обмениваются знаниями. Они представили эти вопросы ChatGPT, который ошибся в своих ответах в 52% случаев. Эксперты пришли к выводу, что ChatGPT не является надежным инструментом помощи программистам.
Очевидно, что реальные специалисты на StackOverflow давали более точные и сжатые ответы по сравнению с ChatGPT. Интересно отметить, что 35% пользователей воспринимают ответы чат-бота как истину, не замечая ошибок. Кроме того, ранее журналисты издания The Verge обнаружили фактическую ошибку в рекламе умного поиска Google. Например, в случае неработающего затвора, искусственный интеллект посоветовал открыть крышку камеры, что может привести к засветке пленки и было правильно опровергнуто специалистами.