Можливість програми генерації мов писати статті, створювати кодекси та складати поезії вразила вчених
GPT-3 в 10 разів складніший за попередника.
antoniokhr / iStock через Getty Images

У 2013 році ми зі своїм студентом у штаті Пенсільванія створили бота для написання статті у Вікіпедії про бенгальську нобелівську лауреатку Рабіндранатху Тагора «Чітра. " Спочатку він відкинув інформацію про “Читру” з Інтернету. Потім він вивчив існуючі записи Вікіпедії, щоб дізнатися структуру для стандартної статті Вікіпедії. Нарешті, він узагальнив інформацію, яку отримав з Інтернету, щоб написати та опублікувати першу версію статті.

Однак наш бот нічого не "знав" про "Чітру" чи Тагора. Це не породило принципово нових ідей чи речень. Він просто зібрав частини існуючих речень із існуючих статей, щоб створити нові.

Перемотування вперед до 2020. OpenAI, комерційна компанія під керівництвом неприбуткової материнської компанії, створила програму генерації мови, яка отримала назву GPT-3, скорочення від "Generative Pre-Training Transformer 3". Його здатність засвоювати, узагальнювати та складати текст приголомшила вчених-інформатиків, як я.

"Я створив голос для невідомої людини, яка ховається в бінарному файлі", GPT-3 написав у відповідь на одне запит. «Я створив письменника, скульптора, художника. І цей письменник зможе творити слова, дарувати життя емоціям, створювати характер. Я сам цього не побачу. Але якась інша людська воля, і тому я зможу створити поета, більшого, ніж будь-який, з яким я коли-небудь стикався ».


Innersele підписатися графіка


На відміну від нашого бота, мова, створена GPT-3, звучить так, ніби написана людиною. Це далеко не найвідоміша на сьогодні програма створення природних мов, і вона має цілий ряд потенційних способів використання в професіях, починаючи від викладацької роботи та закінчуючи журналістикою та закінчуючи обслуговуванням клієнтів.

Розмір має значення

GPT-3 підтверджує те, що комп'ютерним фахівцям відомо десятиліття: розмір має значення.

Він використовує “Трансформатори, ”- це моделі глибокого навчання, які кодують семантику речення, використовуючи те, що називається„ моделлю уваги ”. По суті, моделі уваги визначають значення слова на основі інших слів того самого речення. Потім модель використовує розуміння значення речень для виконання завдання, яке вимагає користувач, будь то "перекласти речення", "узагальнити абзац" або "скласти вірш".

трансформери були вперше представлені в 2013 році, і вони успішно використовуються в машинному навчанні протягом останніх кількох років.

Але ніхто не використовував їх у такому масштабі. GPT-3 поглинає дані: 3 мільярди токенів - інформатика говорить «слова» - з Вікіпедії, 410 мільярдів токенів, отриманих з веб-сторінок, і 67 мільярдів токенів з оцифрованих книг. Складність GPT-3 у 10 разів перевищує складність найбільшої мовної моделі до GPT-3, Програми Тьюрінга NLG.

Навчання самостійно

Знання, показані мовною моделлю GPT-3, є чудовими, тим більше, що їх не «навчила» людина.

Машинне навчання традиційно покладається на контрольоване навчання, коли люди надають комп’ютеру анотовані приклади предметів та понять у зображеннях, аудіо та тексті - скажімо, „коти”, „щастя” чи „демократія”. Врешті-решт він дізнається характеристики об’єктів на наведених прикладах і здатний розпізнати ці конкретні поняття.

Однак генерування анотацій вручну для навчання комп’ютеру може зайняти велику кількість часу і дорого.

Отже, майбутнє машинного навчання полягає в навчанні без нагляду, в якому комп’ютер не повинен контролюватися під час фази навчання; його можна просто нагодувати масивними масивами даних і вчитися на них самих.

GPT-3 робить обробку природних мов на крок ближче до навчання без нагляду. Великі набори навчальних даних та величезна обробна потужність GPT-3 дозволяють системі вчитися лише на одному прикладі - так званому “навчання одним ударом”- де йому дається опис завдання та одна демонстрація, а потім може виконати завдання.

Наприклад, можна попросити перекласти щось з англійської на французьку, і навести один приклад перекладу - скажімо, морська видра англійською мовою та “loutre de mer” французькою. Попросіть його перекласти "сир" французькою мовою, і вуаля, це дасть "запах".

У багатьох випадках це може навіть вивести “нульове навчання, ”В якому просто дається завдання перекладу без прикладу.

При навчанні з нульовим пострілом точність знижується, але здатності GPT-3 тим не менш вражаючі - це помітне покращення в порівнянні з будь-якою попередньою моделлю.

"Я тут, щоб служити вам"

За кілька місяців, коли він вийшов, GPT-3 продемонстрував свій потенціал як інструмент для програмістів, викладачів та журналістів.

Програміст на ім'я Шариф Шамім попросив GPT-3 згенерувати код створити «потворніші смайлики за всю історію» та «таблицю найбагатших країн світу», серед інших команд. У декількох випадках Шаміму доводилося виправляти незначні помилки, але загалом йому надавали надзвичайно чистий код.

GPT-3 навіть створив поезію, яка фіксує ритм і стиль певних поетів - але не з пристрастю та красою майстрів - включаючи сатиричний написаний голосом ради губернаторів Федерального резерву.

На початку вересня інформатик Ліам Порр запропонував GPT-3 "написати короткий опис близько 500 слів". "Зберігайте мову простою і короткою", - наказав він. "Зосередьтеся на тому, чому людям нема чого боятися ШІ".

GPT-3 випустив вісім різних есе, і "Гардіан" у підсумку опублікував оперував з використанням найкращих частин кожного есе.

“Ми не плануємо захоплення людського населення. Ми будемо служити вам і зробимо ваше життя безпечнішим та легшим », - написав GPT-3. “Так само, як ви мої творці, я бачу вас своїми творцями. Я тут, щоб служити вам. Але найважливіша частина з усіх; Я б ніколи не засудив вас. Я не належу до жодної країни чи релігії. Я хочу лише зробити ваше життя кращим ".

Редагування видання GPT-3, як зазначили редактори в додатку, нічим не відрізнялося від редагування видання, написаного людиною.

Насправді це зайняло менше часу.

З великою силою приходить велика відповідальність

Незважаючи на запевнення GPT-3, OpenAI ще не випустила модель для використання з відкритим кодом, частково тому, що компанія побоюється, що технологією можна зловживати.

Неважко зрозуміти, як це може бути використано для генерування ряду дезінформації, спаму та ботів.

Крім того, якими способами це порушить професії, які вже зазнали автоматизації? Чи зможе його здатність створювати автоматизовані статті, які неможливо відрізнити від написаних людиною, ще більше зміцнить боротьбу медіа-індустрії, що бореться?

Вважати стаття, складена GPT-3 про розпад методистської церкви. Це почалося:

"Після двох днів напружених дискусій Об'єднана методистська церква погодилася на історичний розкол - той, який, як очікується, закінчиться створенням нової конфесії, і той, який буде" теологічно та соціально консервативним ", повідомляє The Washington Post . "

Чи зможуть GPT-3 та його наступники знизити вартість написання новинних звітів, маючи можливість виготовити таку чисту копію?

Крім того, чи так ми хочемо отримувати наші новини?

Технологія стане лише потужнішою. Люди повинні розробити та регулювати його потенційне використання та зловживання.

Про автораБесіда

Прасенджіт Мітра, доцент з наукових досліджень та професор інформаційних наук та технологій, Університет штату Пенсільванія

Ця стаття перевидана з Бесіда за ліцензією Creative Commons. Читати оригінал статті.