![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
waqurДля чего может быть хорош GPT-3/ChatGPT, помимо написания рекламных и мотивирующих текстов, а также абстрактных эссе в области философии и культурологии?
Пользователи давно заметили, что у этого искусственного болванчика плохо с логикой, что неудивительно, ведь это всего лишь статистическая языковая модель, а не формально-логическое исчисление с кванторами, термами, предикатами, логическими операциями и аксиомами. Эта языковая модель работает лучше, чем бредогенератор на цепях Маркова первого порядка, творчество которого смахивает на бред больного шизофазией, но логику статистическая языковая модель всё равно не ухватывает, даже если эта модель высших порядков (т.е. построенная на частотах не пар соседних слов, а на частотах троек слов, четвёрок слов и т.д.).
"Искусственный эрудит" пишет грамматически связно, но смысла в написанном, разумеется, нет. Как я уже говорил, для некоторых предметных областей это вовсе не проблема, а в остальных случаях GPT-3/ChatGPT идеально подходит для тренировки навыков критического мышления. Например:
[1] Бредогенератор пишет эссе по истории, студенты читают и исправляют ошибки в фактах и датах, по числу найденных и верно исправленных ошибок профессор истории ставит оценку на экзамене.
[2] Бредогенератор порождает программный код, который разумеется работать не будет, т.к. там есть несколько ошибок, а кандидату во время интервью на должность программиста предлагается их найти, обсудить с интервьюером и самостоятельно исправить (сначала критические ошибки, из-за которых код вообще не будет работать; далее ошибки, которые проявляются не всегда или могут повлечь потенциальные проблемы переносимости; и напоследок стилистические изъяны). На таком интервью не спишешь и на такое интервью не натаскаешься путём вызубривания готовых ответов для всех вариантов задачек.
[3] Бредогенератор порождает решение логико-математической задачи (например на включение элемента в множество, чтобы сделать это множество соответствующим условию транзитивности для бинарных отношений), а студенты с преподом ловят лулзы и находят ошибки в "доказательстве". Те студенты, кому "и так зашло", получают на экзамене свой законный "дубль" и с чистой душой отправляются работать на стройку, на панель и т.д.
Точно так же можно экзаменовать будущих юристов, врачей и любых других людей, в профессиональной деятельности которых существует разница между "правильно" и "неправильно".
То есть GPT-3/ChatGPT — это такой эталонно-образцовый дурак для генерации бреда, в котором нет ошибок с точки зрения обывателя, бесконечно далёкого от предметной области, но в котором есть пара серьёзных ошибок и к которому есть ещё уйма второстепенных замечаний с точки зрения квалифицированного специалиста. Это способ выявить квалифицированных специалистов и отсеять всех остальных, и вполне возможно, что это самый лучший способ.
UPD. Пример в тему: https://kondybas.dreamwidth.org/144327.html
UPD2. Новая ржака: ChatGPT играет в шахматы: https://news.ycombinator.com/item?id=35773355
UPD3. ChatGPT составляет юридический документ (представление, поданное адвокатом истца, против ходатайства о прекращении дела): https://reason.com/volokh/2023/05/27/a-lawyers-filing-is-replete-with-citations-to-non-existent-cases-thanks-chatgpt/
Пользователи давно заметили, что у этого искусственного болванчика плохо с логикой, что неудивительно, ведь это всего лишь статистическая языковая модель, а не формально-логическое исчисление с кванторами, термами, предикатами, логическими операциями и аксиомами. Эта языковая модель работает лучше, чем бредогенератор на цепях Маркова первого порядка, творчество которого смахивает на бред больного шизофазией, но логику статистическая языковая модель всё равно не ухватывает, даже если эта модель высших порядков (т.е. построенная на частотах не пар соседних слов, а на частотах троек слов, четвёрок слов и т.д.).
"Искусственный эрудит" пишет грамматически связно, но смысла в написанном, разумеется, нет. Как я уже говорил, для некоторых предметных областей это вовсе не проблема, а в остальных случаях GPT-3/ChatGPT идеально подходит для тренировки навыков критического мышления. Например:
[1] Бредогенератор пишет эссе по истории, студенты читают и исправляют ошибки в фактах и датах, по числу найденных и верно исправленных ошибок профессор истории ставит оценку на экзамене.
[2] Бредогенератор порождает программный код, который разумеется работать не будет, т.к. там есть несколько ошибок, а кандидату во время интервью на должность программиста предлагается их найти, обсудить с интервьюером и самостоятельно исправить (сначала критические ошибки, из-за которых код вообще не будет работать; далее ошибки, которые проявляются не всегда или могут повлечь потенциальные проблемы переносимости; и напоследок стилистические изъяны). На таком интервью не спишешь и на такое интервью не натаскаешься путём вызубривания готовых ответов для всех вариантов задачек.
[3] Бредогенератор порождает решение логико-математической задачи (например на включение элемента в множество, чтобы сделать это множество соответствующим условию транзитивности для бинарных отношений), а студенты с преподом ловят лулзы и находят ошибки в "доказательстве". Те студенты, кому "и так зашло", получают на экзамене свой законный "дубль" и с чистой душой отправляются работать на стройку, на панель и т.д.
Точно так же можно экзаменовать будущих юристов, врачей и любых других людей, в профессиональной деятельности которых существует разница между "правильно" и "неправильно".
То есть GPT-3/ChatGPT — это такой эталонно-образцовый дурак для генерации бреда, в котором нет ошибок с точки зрения обывателя, бесконечно далёкого от предметной области, но в котором есть пара серьёзных ошибок и к которому есть ещё уйма второстепенных замечаний с точки зрения квалифицированного специалиста. Это способ выявить квалифицированных специалистов и отсеять всех остальных, и вполне возможно, что это самый лучший способ.
UPD. Пример в тему: https://kondybas.dreamwidth.org/144327.html
UPD2. Новая ржака: ChatGPT играет в шахматы: https://news.ycombinator.com/item?id=35773355
UPD3. ChatGPT составляет юридический документ (представление, поданное адвокатом истца, против ходатайства о прекращении дела): https://reason.com/volokh/2023/05/27/a-lawyers-filing-is-replete-with-citations-to-non-existent-cases-thanks-chatgpt/
no subject
Date: 2023-02-21 02:53 pm (UTC)Представители этих самых предметных областей рвут волосы на жопе, доказывая, что чатгпт - великий гуру и учитель :)
[1]-[2]-[3] - полностью согласен, единственно возможное применение чугунного дурака.
"..людей, в профессиональной деятельности которых существует разница между "правильно" и "неправильно".."
Достойно есть, яко воистину! Респект и уважуха за определение.
no subject
Date: 2023-02-21 05:10 pm (UTC)Вот я тоже заметил, что рассуждения о политике ему вполне удаются. Но тут все места плотно заняты людьми.
no subject
Date: 2023-02-21 05:46 pm (UTC)no subject
Date: 2023-02-22 11:43 am (UTC)Плюсплюсплюслайк. Уже надоело тылдычить об этом же всем восхищающимся "почти человеческим интеллектом, который заменит математиков и информатиков". Такие системы можно применять там, где всем пофиг на периодически всплывающие грубые ошибки. Или там, где такие ошибки как раз и нужны (вы описали как раз очень интересное применение). Вся "мудрость" GPT - чистой воды апофения и выковыривание отдельных хороших ответов из кучи случайного мусора.
no subject
Date: 2023-02-28 06:58 pm (UTC)