ChatGPT і критичне мислення: що показав експеримент

Студентка порівнює власні ідеї з варіантами від робота-помічника

Суперечка про те, чи робить ШІ людей дурнішими, зазвичай тримається на відчуттях. Дослідники університету Bocconi разом із OpenAI замість цього взяли понад тисячу студентів першого курсу й поставили нормальний експеримент.

Результат цікавіший за обидві звичні позиції. Доступ до ChatGPT справді піднімає якість роботи. Але оригінальність — це окрема мішень, і стріляти в неї треба іншим.

Як був влаштований експеримент

Студентів випадково розкидали по чотирьох групах: доступ до ChatGPT; тренування каузального мислення; обидва разом; нічого з цього.

Завдання було не навчальною вправою, а цілком реальним: розробити маркетингові рекомендації для магазину мерчу свого ж університету.

Оцінювали двома способами. Живі експерти — за п’ятибальною рубрикою. Паралельно тексти прогнали через автоматичний аналіз: скільки ідей, наскільки вони різні, чи є причинно-наслідкові зв’язки й наскільки робота схожа на експертну.

Саме цей другий спосіб і зробив дослідження цікавим.

Що дав доступ до ChatGPT

Група з доступом до моделі отримала майже на цілий бал більше за п’ятибальною шкалою. У роботах було більше ідей, чіткіша логіка й більша схожість із тим, що написали б експерти.

На п’ятибальній шкалі бал — це багато. Але варто помітити, що саме піднялось. Це не геніальність — це підлога. Робота перестає бути сирою: структура на місці, аргументи зв’язані, очевидні речі не забуті.

Це рівно той ефект, який бачить будь-який фрілансер на собі: перший чернетковий варіант стає пристойним швидше. Проблема починається далі.

Що дало тренування мислення

Група, яку вчили міркувати причинно-наслідково, за рубрикою не вирвалась уперед. За формальними балами — нічого особливого.

Але автоматичний аналіз показав інше: ці студенти видавали ширший діапазон ідей, які більше відрізнялись від ідей одногрупників. І краще пояснювали, чому ідея має або не має спрацювати.

Тобто користь була — просто рубрика, заточена під маркетингові цілі, просто її не бачила. Звучить як академічна деталь, але це рівно те саме, що відбувається в агенційній роботі, коли приймальний чекліст не містить рядка «а це взагалі не те саме, що в конкурента?».

Чому це не «ШІ робить дурнішим»

З експерименту не випливає, що модель шкодить мисленню. Найширший набір переваг отримала група, яка мала й доступ до ChatGPT, і тренування. Ці дві речі не конкурують, вони закривають різні дірки.

Справжній ризик інший і банальніший. Якщо вся галузь користується одним інструментом і ставить йому однакові запитання, вона отримує однакові відповіді. Про те, звідки береться ця сірість і як її ламати, ми писали в розборі трьох помилок у запитах.

Що з цього забрати в роботу

Найпрактичніший висновок — розвести дві стадії роботи, які люблять зливатись в одну:

  1. Спочатку самі випишіть гіпотези й причини, чому вони мають спрацювати саме в цьому бізнесі. Без моделі.
  2. Аж потім віддайте ШІ те, що він робить краще за вас: структуру, формулювання, повноту, перевірку на пропущене.
  3. Перед відправкою клієнту спитайте себе: що тут є такого, чого не було б у відповіді будь-кого іншого з тим самим промптом?

Третє питання й є тим самим тренуванням мислення, тільки за три секунди.

Якщо ви вчитесь або працюєте зі студентами, гляньте також на освітні плагіни OpenAI та на рік Google AI Plus для студентів в Україні. А якщо тільки розбираєтесь із самим інструментом — почніть із гайда про ChatGPT простими словами.

Підпишіться на новини про штучний інтелект!

Ви будете отримувати від нас листи раз на тиждень.

Політика конфіденційності

Залишити коментар

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Прокрутка до верху