Мовна модель ChatGPT, розроблена OpenAI, останнім часом стала неймовірно популярною завдяки своїй здатності генерувати людські відповіді в широкому діапазоні обставин. Насправді ChatGPT став настільки компетентним, що студенти та учні тепер використовують його, щоб допомогти собі із домашнім завданням. Це спонукало кілька шкільних округів США заблокувати пристроям доступ до моделі штучного інтелекту під час підключення до інтернету.
- Ми поспілкувалися з ChatGPT і ось, що ми дізналися у нього
- ChatGPT може навчити людину ввічливості, або як розпізнати текст, написаний ШІ
- TruthGPT: Ілон Маск хоче запустити аналог ChatGPT
- Чатбот GPT-4 написав код для власної втечі
Отже, наскільки розумний ChatGPT? У технічному звіті, опублікованому 27 березня 2023 року, OpenAI надала вичерпну інформацію про свою останню модель, відому як GPT-4. У цей звіт додано набір результатів іспитів, які були візуалізувані Visual Capitalist.
ChatGPT-4 проти ChatGPT-3.5
Щоб перевірити можливості ChatGPT, OpenAI змоделював тести для різних професійних і академічних іспитів. Сюди входять cхоластичні тести оцінювання, адвокатські та різноманітні іспити.
Ефективність вимірювалася в процентилях, які базувалися на останніх доступних розподілах балів для учасників кожного типу іспиту. Процентильна оцінка — це спосіб оцінки власної продуктивності відносно продуктивності інших. Наприклад, якщо Ви потрапили в 60-й процентиль на тесті, це означає, що ви набрали більше ніж 60% учасників цього тесту.
| Категорія | Екзамен | GPT-4 (процентиль) |
GPT-3.5 (процентиль) |
| Закон | Єдиний адвокатський іспит | 90 | 10 |
| Закон | Вступний тест на юридичний факультет | 88 | 40 |
| Схоластичний тест оцінювання | Читання та письмо на основі доказів | 93 | 87 |
| Схоластичний тест оцінювання | Математика | 89 | 70 |
| Випускний іспит | Кількісний | 80 | 25 |
| Випускний іспит | Вербальний | 99 | 63 |
| Випускний іспит | Письмо | 54 | 54 |
| Різноманітні іспити | Біологія | 85 | 62 |
| Різноманітні іспити | Обчислення | 43 | 0 |
| Різноманітні іспити | Хімія | 71 | 22 |
| Різноманітні іспити | Фізика | 66 | 30 |
| Різноманітні іспити | Психологія | 83 | 83 |
| Різноманітні іспити | Статистика | 85 | 40 |
| Різноманітні іспити | Англійська мова | 14 | 14 |
| Різноманітні іспити | Англійська література | 8 | 8 |
| Конкурсне програмування | Рейтинг Codeforces (змагання зі спортивного програмування) |
<5 | <5 |
GPT-4 (випущений у березні 2023 року) набагато ефективніший за GPT-3.5 (випущений у березні 2022 року) у більшості цих іспитів. Однак, він не зміг покращити свої знання з англійської мови та програмування.
