Перевод короткого текста Элиезера Юдковского. (Оригинал)
***
Представьте, что вы в коробке и пытаетесь предсказывать следующее слово – присвоить как можно большую долю вероятности следующему токену – для всех текстов из Интернета.
Коан: Ограничена ли сложность этой задачи человеческим интеллектом, или интеллектом умнейшего человека, который когда-либо написал текст в Интернете? Какие факторы делают эту задачу проще или сложнее? (Если у вас нет ответа, можете потратить минуту и попробовать его сгенерировать, или, альтернативно, попробуйте предсказать, что я скажу дальше; если же у вас есть ответ, проглядите его в своём разуме, или может даже скажите его вслух.)
Подумайте о том, что где-то в Интернете скорее всего есть список троек: <произведение двух простых чисел, первое простое число, второе простое число>.
GPT, очевидно, не предскажет это успешно для достаточно больших простых чисел, но это иллюстрирует основную идею:
Нет закона, который бы говорил, что предсказателю надо быть только настолько же умным, как генератор, чтобы предсказать следующий токен, который тот выдаст.
В самом деле, в обще6м случае, вам надо быть куда умнее, чтобы предсказать конкретный X, чем чтобы сгенерировать реалистичный X. GPT обучаются куда более сложной задаче, чем GAN.
В том же духе: пары <Хэш, исходный текст>, которые вы не можете предсказать не взломав алгоритм хэширования, сгенерировать типичные экземпляры которых, чтобы пройти проверку распознавателя GAN куда проще (допуская, что распознаватель научился вычислять хэш-функции).
Подумайте о том, что некоторые тексты в Интернете – не бытовое общение людей. Это раздел научной статьи с результатами. Это новости, в которых говорится, что произошло в конкретный день, и, может, никакой человек не мог быть настолько умным, чтобы предсказать, чем произойдёт в новости, пока её не было.
Как это компактно сформулировал Илья Суцкевер, чтобы научиться предсказывать текст надо научиться предсказывать каузальные процессы, тенью которых он является.
Многие из теней в Интернете отброшены *сложными* каузальными процессами.
Подумайте о том, что иногда люди по ходу того, как что-то говорят, совершают ошибки.
GPT не обучаются имитировать человеческие ошибки. Они обучаются *предсказывать* человеческие ошибки.
Подумайте об асимметрии между вами, совершающими ошибку, и внешним разумом, который знает вас достаточно хорошо и подробно, чтобы предсказать, *какие* ошибки вы совершите.
Если вы затем попросите предсказатель отыграть роль персонажа – вас, то нейросеть-актриса предположит, какие ошибки вы совершите, и отыграет их. Если актриса догадалась правильно, это не значит, что она столь же подвержена ошибками, как вы.
Подумайте о том, что многие тексты в Интернете – не импровизированная речь. Это текст, который люди писали часы или дни.
GPT-4 просят предсказать его за 200 последовательных шагов, или сколько у неё слоёв; это как будто человека просят высказывать свои немедленные мысли.
Человек может написать рэп-баттл за час. Функция потерь GPT предпочла бы, чтобы GPT была достаточно умна, чтобы предсказать его на лету.
Или, может, самое простое:
Представьте, что кто-то просит вас придумать случайные слова, и вы говорите «Морвелкайнен блумба ринга монго».
Представьте разум ровня – для ясности, я не говорю, что GPT уже на нём –
Представьте Разум уровня, на котором он может услышать, как вы говорите « Морвелкайнен блумба ринга», и, может, ещё прочитать всю вашу историю действий в социальных медиа, а затем присвоить вероятность в 20% тому, что дальше вы произнесёте «монго».
Тот факт, что этот Разум может служить очень хорошим актёром, отыгрывающим вашего персонажа, не значит, что он лишь настолько же умён, как вы.
Когда вы пытаетесь быть на человеческом уровне написания текста, вы просто выводите что вам угодно, и теперь это человеческий вывод, потому что вы – человек, и вы выбрали вывести это.
GPT-4 просят предсказать то, что вы выдаёте. Она не может вывести что угодно. Её просят промоделировать, что вы думаете – мысли в вашем разуме, тенью которых является ваш текстовый вывод – чтобы назначить как можно большую вероятность вашему настоящему следующему слову.
Выяснить, что следующим вы произнесёте «монго», я полагаю, в основном, не вопрос запихивания этого могучего Разума в форму того, что может симулировать произвольных людей, после чего какой-то менее умный подпроцесс ответственен за подгонку Разума конкретно к вам, после чего тот симулирует, как вы говорите «монго». Выяснить, кто конкретно говорит, до такой степени, это сложная задача, которая, кажется, требует заметно более сложной мыслительной деятельности, чем та часть, где вы просто говорите «монго».
Когда вы предсказываете, как обточить каменный топор, вы не становитесь в основном каузальным процессом, который ведёт себя как каменный топор, с добавлением некоторой вычислительно более слабой штуки, которая выясняет, каким именно каменным топором быть. Это не та задача, которая лучше всего решается через «Обладать сложной способностью быть как любой конкретный каменный топор, а ещё легко выяснять, каким каменным топором надо быть».
GPT-4 всё ещё во многом не так умна, как люди, но это откровенная математическая истина, что задача, которой GPT обучают, сложнее, чем просто быть настоящим человеком.
А раз задача, которой обучают GPT, отличается от и сложнее, чем задача просто быть человеком, то не должно быть удивительным – даже оставив в стороне все отличия градиентного спуска от естественного отбора – если GPT для решения этой задачи в итоге будут думать совсем не так, как люди.
GPT – не Имитаторы, не Симуляторы, но Предсказатели.
Безопасность искусственного интеллекта 