В начале 2000-х любители компьютеров могли зайти в любой из почти 700 книжных магазинов Barnes and Noble и найти проход за проходом, заполненный руководствами по программированию, кодированию, дизайну, Интернету и практически любой другой теме, даже отдаленно связанной с вычислительной техникой. Десятки журналов дополняли это убежище для компьютерных наркоманов.
С тех пор эти строки почти исчезли из-за того, как пользователи теперь получают информацию. Цифровые книги и интернет-ресурсы в значительной степени заменили эти стопки книг.
Одним из ключевых ресурсов, который способствовал упадку, является Stack Overflow, очень уважаемое онлайн-сообщество из 20 миллионов зарегистрированных пользователей, которые делятся советами и решениями вопросов по всем аспектам программирования. С момента создания в 2008 году участники задали более 24 миллионов вопросов и получили более 35 миллионов ответов.
Но популярный сайт в этом году стал жертвой растущей популярности чат-ботов, таких как ChatGPT, хотя Stack Overflow по-прежнему остается незаменимым ресурсом для многих.
В мае аналитическая фирма сообщила, что Stack Overflow несколько месяцев подряд страдал от падения трафика, в среднем на 6% с начала года. В апреле произошло падение на 17,7% по сравнению с мартовскими показателями.
Перебежчики, стекающиеся в ChatGPT, делают мудрый шаг?
Согласно новому исследованию Университета Пердью «Кто ответит на него лучше? Углубленный анализ ответов ChatGPT и Stack Overflow на вопросы разработки программного обеспечения», возможно, это не лучшее решение.
Исследователи обнаружили то, что многие уже подозревали: значительное количество ответов ChatGPT на вопросы по программированию были неточными или совершенно неправильными. По иронии судьбы, однако, когда испытуемых попросили сравнить ответы Stack Overflow и ChatGPT, 40% сказали, что они предпочитают ответы ChatGPT. Почему? Из-за «полноты» и убедительности «членораздельного стиля» ответов ChatGPT.
Исследователи заявили, что 52% из 512 ответов ChatGPT на вопросы были неверными. К сожалению, среди ответов, предпочитаемых участниками теста, 77% были неправильными.
Даже когда ответы ChatGPT были откровенно неправильными, 2 из 12 испытуемых по-прежнему предпочитали ответы ChatGPT ответам Stack Overflow.
По словам Самии Кабир, одного из авторов статьи: «Участники проигнорировали неправоту, когда они нашли ответ ChatGPT проницательным. То, как ChatGPT уверенно передает проницательную [даже если неверную] информацию, вызывает доверие пользователей, что заставляет их предпочесть неправильный ответ. »
«Очевидно, что вежливый язык, четко сформулированные ответы в стиле учебника, полнота и аффилиация в ответах заставляют совершенно неправильные ответы казаться правильными», — сказал Кабир.
Исследователи отметили, что большие языковые модели могут перевернуть старые способы получения информации о программировании. Пользователи, которым нужна помощь, получают бесценную обратную связь от сообщества экспертов на таких сайтах, как Stack Overflow. Но эти сайты часто требуют ожидания в течение нескольких часов или дней, прежде чем будут получены решения.
ChatGPT может предоставить сложные инструкции по кодированию за считанные секунды, и он будет участвовать в человеческом разговоре, чтобы глубже изучить вопросы.
Но знание способности чат-ботов получать и распространять ошибочную информацию «создает риски для неопытных конечных пользователей, у которых нет средств для проверки фактических несоответствий», — сказал Кабир.
Обеспокоенность возможностью заражения информационных пулов ложными данными привела к тому, что Stack Overflow ранее в этом году запретил любой ответ, полученный ChatGPT.
Исследователи Purdue назвали преобладание неправильных ответов «тревожным». Они призвали ChatGPT выйти за рамки краткого отказа от ответственности, который он публикует в каждом ответе, сообщая пользователям о возможности ошибки, и указать уровень неправильности и неопределенности.
«Необходимо выяснить, как сообщать об уровне неправильности ответов», — говорится в отчете исследователей, опубликованном на сервере препринтов arXiv 10 августа.
«ИИ наиболее эффективен, когда его контролируют люди», — говорится в отчете. «Поэтому мы призываем к ответственному использованию ChatGPT для повышения производительности человеческого ИИ».
