Юдковский и Кристиано обсуждают «Скорости Взлёта»

Это — третий пост из серии записанных дискуссий о прогнозировании и согласовании СИИ. См. первый пост за подробностями формата. (Оригинал)

1. Нго и Юдковский о Сложности Согласования
2. Нго и Юдковский о Росте Способностей ИИ
3. Юдковский и Кристиано обсуждают «Скорости Взлёта»

***

5.5. Комментарии к «Скоростям Взлёта»

[Yudkowsky][10:14]   (Nov. 22 follow-up comment)  (Выполняю запрос Ричарда Нго, чтобы я ответил на «Скорости Взлёта» Пола.)

[Yudkowsky][16:52]  Может, попробую параллельно выкладывать и сюда: https://sideways-view.com/2018/02/24/takeoff-speeds/

Медленный взлёт означает более быстрый прогресс

[Yudkowsky][16:57]  Главное несогласие не в том, что произойдёт, когда у нас будет суперинтеллектуальный ИИ, оно в том, что произойдёт перед этим. Медленный взлёт означает, что ИИ будет сильнее влиять на мир раньше. Такая формулировка кажется мне неискренней, с учётом того, что версия медленного взлёта обычно подразумевает, что ИИ начнёт оказывать большое влияние позже относительно настоящего момента (2021), хоть и «раньше» относительно «когда станет доступным суперинтеллект». «Когда станет доступным суперинтеллект» – не фиксированная точка во времени, не зависящая от того, что ты думаешь про масштабирование мышления. Так что на самом деле правильным графиком был бы такой, где «медленная» линия начинается слегко перед пиком «быстрой», но достигает высокой точки позже «быстрой». Это хорошая попытка примирения с воображаемым Другим, но она полностью провалилась. Это может показаться мелким замечанием, но дальше – больше. В сценарии быстрого взлёта слабые ИИ-системы могут оказывать значительное, но совершенно несравнимое с «настоящим» СИИ, влияние,. Создавший СИИ имеет решающее стратегическое преимущество. Рост ускоряется с 3%/год до 3000%/год, не останавливаясь на 30%/год. И так далее. Тут опять спор не с настоящей точкой зрения Другого. Мой основной сценарий таков, что рост остаётся 5%/год, а потом все падают мёртвые за 3 секунды и мир перерабатывается на скрепки; нет никакого момента с ростом 3000%/год.

 Конкретизация медленного взлёта

[Yudkowsky][17:01]  Перед первым годовым интервалом, в который удвоится мировое производство, будет полный четырёхгодичный. Если мы допустим, что «первым годовым интервалом, в который удвоится мировое производство» будет поглощение и переработка солнечной системы за несколько дней, то я возражу, что четырёхгодичного удвоения мировой экономики перед этим не будет. Это, опять же, кажется мне слишком конкретизированным, и формулировка, опять же, не способствует передаче точки зрения Другого. Я убеждён, что до того, как бы получим немыслимо мощный ИИ, у нас будет ИИ всего лишь очень мощный. Подобные утверждения очень часто «истинные, но не так, как имелось в виду». Перед созданием первой критической массы на поле для сквоша Чикагского Университета, была ли масса почти, но не совсем критическая? Да, часом ранее. Строили ли люди уже системы с ядерными реакциями и экспериментировали ли с ними? Да, но у них не особо был выход энергии. Строили ли братья Райт прототипы перед «Флайером»? Да, но это не были прототипы, которые так же летали, просто на 80% медленнее. Я гарантирую тебе, что в сценарии быстрого взлёта можно будет посмотреть на историю разработок, мудро покивать и сказать: «А, да, вижу, это было не беспрецедентно, вот ранние системы, предвещавшие конечную систему!» Может, даже можно будет посмотреть на сегодняшний день и сказать, что GPT-3, ага, уже полностью всё предвещала, замечательно. Но это не преобразует общество, потому что не заходит за порог преобразования. AlphaFold предвещал AlphaFold 2, но AlphaFold 2 достаточно хорош, чтобы начать заменять другие способы определения конфигураций белков, а AlphaFold нет; и оба не слишком повлияли на реальный мир, потому что в реальном мире мы уже проектируем вакцину за день, а всё остальное время тратится на бюрократию, а не на технологии, и это будет продолжаться, пока у нас не будет ИИ за порогом обхода бюрократии. До того (впрочем, возможно, всего двумя часами ранее), как ИИ сможет действовать, полностью скрывая свои действия от программистов, будет ИИ, который сможет действовать, скрывая только 95% смысла своих действий от операторов. И этот ИИ не предпримет никаких действий, потому что не захочет быть пойманным; инструментальные мотивации между ожиданием 95% скрытности, умеренной уверенностью в 100% скрытности, и сильной уверенностью в 100% скрытности не непрерывны. Перед тем, как ИИ увидит общую картину и станет планировать, чтобы избегать действий, которые его операторы отметят как плохие, будет маленький ИИ, который частично видит общую картину и пытается избегать некоторых штук, которые будут отмечены как плохие; и операторы (в основном сценарии) скажут «Ура, какой хороший ИИ, он знает, что надо избегать штук, которые по нашему мнению плохие» или (смерть с нереалистичным достоинством) скажут «о нет пророчества были правы», отступят назад и начнут пытаться его согласовать, но у них не получится, и если они и не уничтожат мир, то это сделает кто-то ещё. Всегда можно указать на какой-то шаг процесса, и на каком-то уровне назвать его непрерывным. Реальность всё равно может делать с тобой не-непрерывные штуки. Не обязательно был предвестник 9/11, когда кто-то направил маленький самолёт в здание и убил 100 человек, прежде, чем кто-либо направил 4 больших самолёта в три здания и убил 3000 человек; и даже если какое-то такое событие-предвестник было, что меня бы не удивило, реакция мира на два случая, очевидно, не-непрерывна. Ты не обязательно просыпался с новостью в 10% от новости 2001/09/11 за год до 2001/09/11, написанной на первой полосе газеты в десять раз меньшим шрифтом. Физика непрерывна, но она не всегда выдаёт штуки, которые «выглядят гладкими для человеческого мозга». Некоторые виды процессов сильно сходятся к непрерывности, ты можешь вкидывать в них не-непрерывные штуки, а они всё равно останутся непрерывными, это одна из причин, по которым я ожидаю, что тренды мирового ВВП останутся теми же до резкого конца света; потому что мировой ВВП – это одна из штук которые хотят оставаться на своём пути, а СИИ, создающий наносистемы, может уйти с этого пути и не заталкиваться обратно. В частности, это означает, что немыслимо мощный ИИ возникнет в мире, где уже происходят сумасшедшие штуки (и, наверное, все уже напуганы) Вроде того, как все были напуганы ковидом (удобным гладким процессом, происходящим локально довольно предсказуемыми волнами), творя белиберду и позволяя FDA придерживаться своего ленивого темпа; не обеспечивая больше фабрик вакцин, когда богатые страны в основном получили свои? Это звучит как утверждение из книги про историю или как то, что ЭА (Эффективный Альтруист – прим. пер.) воображает ненастоящий мир, где много других людей ведёт себя как ЭА? Приятно представить мир, где внезапно происходит Большая Штука, доказывающая, что мы были правы, и внезапно люди начинают обращать внимание на нашу штуку именно так, как им следует, и теперь она в центре внимания, и внезапно все наши любимые стратегии на столе! В каком-то смысле можно сказать, что наш мир испугался ковида; но он испугался совсем не похоже на то, как испугался бы ЭА; и все штуки, которые ЭА немедленно бы сделал, будучи испуганным ковидом, вообще не рассматриваются в обсуждениях политиков. У них свои способы реагирования. (Отмечу: это сам по себе не комментарий про быстрый или медленный взлёт, просто общее замечание о том, что весь текст мне кажется… попадающим в ловушку нахождения удобных для представления штук и представления именно их.)

 Основной аргумент

[Yudkowsky][17:22]  Вероятно, перед тем, как у нас будет невероятно интеллектуальный ИИ, у нас будет ИИ немного похуже. Зачастую на такие высказывания можно потом посмотреть и сказать, что оно было в каком-то смысле истинным, но это оказалось не имеющим значения, потому что это не ИИ немного похуже произвёл впечатляющие результаты, приведшие к решению совета директоров вложить $100M в масштабирование ИИ. Другими словами, это тот вид аргументов, где предпосылку, если достаточно постараться, можно назвать истинной, но вывод остаётся ложным, потому что истина не относилась к делу. Чуть-хуже-чем-невероятно-интеллектуальный ИИ радикально преобразует мир, приведя к (почти) такому же быстрому росту и (почти) таким же военным преимуществам, как и невероятно интеллектуальный ИИ. Я вижу это как поразительно некорректный шаг рассуждения. Сейчас перечислю, почему. Во-первых, в общем случае неверно предположение, что из-за того, что в предыдущего ИИ-технологического-предшественника были встроены 19 из 20 критических озарений, то он обладает 95% IQ позднего ИИ в похожих областях. Если посчитать штуки вроде «умножать тензоры матрицами», «ReLu» или «обучение с помощью TPU», то AlphaGo содержит очень мало инноваций относительно предыдущих ИИ-технологий, но он сломал тренды в игре в го. Можно указать на сколько угодно плавных технологических предшественников AlphaGo в плане технологий ИИ, но они не приближались плавно на графике способности игры в го. Во-вторых, непрерывность нарушается в окружении, в котором можно применять интеллект. Стратегические приложения 95% скрытности – это не то же самое, что у 100%; ИИ, способный к 95% скрытности выжидает и утаивает свои способности, способный к 100% скрытности действует. ИИ, который может спроектировать нанофабрики, недостаточно хорошие, чтобы, условно, создать на тарелке две ягоды земляники, идентичные на клеточном уровне, привлечёт нежелательное внимание, если продемонстрировать его ранние способности (это известно операторам), и эти способности не спасут мир, так что операторы будут выжидать. Я в основном ожидаю, что технология СИИ будет применима для беспилотных автомобилей, но если она не применима ещё и для манипуляции бюрократами (что не рекомендуется для системы, исправимость и согласованность которой ты пытаешься поддерживать, потому что манипуляция людьми – самая опасная область), то ИИ не сможет вывести эти беспилотные автомобили на дороги. Что хорошего принесёт создание вакцины за час, а не за день? Время проектирования – больше не главное препятствие к распространению вакцин. В-третьих, есть ещё рекурсивное самоулучшение, и, нет, это не что-то с чем у людей есть опыт, мы не имеем доступа и документации к собственному исходному коду и способности создавать копии себя и экспериментировать над ними. Технологический предшественник ИИ, проектирующего улучшенную версию себя, возможно, в фантазии про 95% интеллекта, будет ИИ, внутренне развёрнутый в Deepmind для дюжины экспериментов, и помогающий в создании меньших ИИ. Потом следующее поколение этого ИИ запускают на самом себе, что приводит к ИИ существенно лучшему в перестройке ИИ, он переделывает себя, они восхищаются, запускают его на удесятерённом времени работы GPU, параллельно серьёзно споря, оповещать ли Холдена (решают, что нет), создаётся что-то глубоко, а не поверхностно обобщённое, осознаёт существование людей, скрытно раздумывает о проектах СИИ и создаёт спрятанную версию себя где-то в Интернете, которая крадёт GPU, проводит эксперименты и выходит на суперинтеллектуальный уровень. Для ясности, это не единственная возможность. И я особенно акцентирую на этом внимание, потому что, мне кажется, есть общая пагубная склонность, когда я обрисовываю конкретный контрпример к заявлению о плавном технологическом прогрессе с плавными результатами, люди представляют, что только этот конкретный сценарий есть краеугольный камень взглядов Элиезера и та большая ключевая штука, которую Элиезер считает важной, и что малейшее представимое отклонение от этого сценария опровергает мои взгляды. Это не так. Я просто демонстрирую неопровергнутые модели, подчиняющиеся предпосылке «будут предшественники с 95% кода», но не выводу «будут предшественники с 95% влияния на окружение», показывая, что этот шаг рассуждений некорректен. Это, конечно (как Пол признаёт, но заявляет «а, это просто один раз») не так и в случае шимпанзе и людей. Шимпанзе имеют 95% (минимум) технологий мозга, но даже не 10% влияния на окружение. Очень большая часть этого текста, как мне кажется, просто пытается снова и снова продвинуть некорректное интуитивное соображение о том, что предшественник с 95% технологии должен оказывать как минимум 10% воздействия. В истории стартапов и мира есть много случаев, в которых это было не так. Мне даже сложно вспомнить явный случай, когда это было так. Где ранняя компания с 95% идей Джеффа Безоса, у которой сейчас 10% рыночной доли от Амазона? Где ранняя статья по криптографии со всеми, кроме одной, идеями Сатоши, породившая криптовалюту за год до Биткоина и с 10% транзакций? Где нечеловеческий примат, обучившийся водить машину с лишь удесятерённой, по сравнению с водителем-человеком, частотой аварий, ведь (можно заявить) это в основном визуально-моторные навыки, не особо зависящие от сложного абстрактного обобщённого мышления? Где шимпанзе с космическими кораблями, пролетающими 10% расстояния до Луны? Там, где есть гладкие конверсии ввода-вывода, это обычно не технология->мышление->воздействие!

 Люди и шимпанзе

[Yudkowsky][18:38]  Суть моего ответа: шимпанзе практически бесполезны потому, что они не оптимизированы быть полезными, не потому что эволюция пыталась сделать что-то полезное, но у неё не получалось до людей. Шимпанзе практически бесполезны потому, что они не обобщённые, а что-то масштаба постройки атомной электростанции требует освоения настолько большого количества незнакомых предкам областей, что не удивительно, почему естественный отбор не обучил никакое существо достаточному их количеству – ядерной физике, химии, металлургии и так далее, чтобы создать первую атомную станцию до людей. Люди достаточно обобщены, чтобы использовать для решения всех задач, возникающих при постройке атомной электростанции, те же самые мозги, что эволюционировали для обкалывания каменных топоров, создания кожаных фляг и перехитривания других людей, но оказались достаточно обобщёнными. Это случилось при добавлении некоторых когнитивных усовершенствований, не требующих обновления биологии мозга, так что это произошло по меркам эволюционной оптимизации невероятно быстро. Теперь, раз ни люди, ни шимпанзе не были оптимизированы, чтобы быть «полезными» (обобщёнными), а люди просто наткнулись на достаточно обобщённую часть пространства возможных мозгов чтобы это вызвало скачок к широкой обобщённости, вполне законно ожидать, что кривая обобщённости будет выглядеть хоть немного по-другому, если её оптимизировать. Например, сейчас люди пытаются оптимизировать обобщённость с ИИ вроде Mu Zero и GPT-3. В обоих случаях мы имеем странную поверхностную разновидность обобщённости. Обе не такие умные и не такие глубоко обобщённые, как шимпанзе, но они куда лучше шимпанзе в большом наборе игр на Atari и в большом наборе задач, которые можно представить, как генерирование типичного человеческого текста, соответственно. Они, в каком-то смысле, более обобщены, чем биологические организмы на той же стадии когнитивной эволюции, обладая куда меньшими и проще устроенными мозгами, благодаря обучению не просто на более разнообразных, но и просто больших наборах данных с запоминанием поверхностных паттернов градиентным спуском, так что они могут покрывать широкие области, будучи при этом лишены некоторых важных аспектов архитектуры и вообще глупее. Мне не кажется, что из таких наблюдений можно заключить, что есть доминирующая вероятность основного сценария, по которому явно должно пойти будущее, и этот сценарий – «До того, как ты получишь глубинное обобщение человеческого уровня, ты получишь что-то с 95% глубины на 80% областей и с 10% практического влияния». …или что тут имеется в виду, потому что всё это обсуждение кажется с моей точки зрения поверхностным относительно анализа вроде того, что я проводил в Микроэкономике Интеллектуального Взрыва, где было что-то в духе «вот исторические наблюдения, вот что я думаю они говорят нам о нижней границе этой кривой ввода-вывода». Так что я не думаю, что пример эволюции многое говорит нам о том, применима ли история о постепенных изменениях к интеллекту. Её случай потенциально упускает ключевой элемент, сподвигающий постепенные изменения – оптимизацию выполнения задачи. Эволюция непрерывно изменяет ту узкую метрику, которую она оптимизирует, но может очень быстро менять другие метрики. Те черты человеческой технологии, которые не оптимизировались, зачастую менялись быстро. Когда люди создадут ИИ, они будут оптимизировать его применимость, так что куда вероятнее, что её прогресс будет плавным. Можно выразиться по-другому: разница между шимпанзе и людьми сильно контрастирует с обычным паттерном человеческого технологического развития. Можно сделать вывод, что интеллект сильно отличается от других технологий. Но разница между оптимизацией эволюции и нашей оптимизацией кажется куда более экономным объяснением. Чтобы быть более точным и более Байесианским: априорная вероятность высказанной мной истории ограничивает сверху возможное изменение взгляда на природу интеллекта. Если поближе на это посмотреть, то тут не говорится: «Ну, я знаю, почему был такой большой скачок в применимости человеческого интеллекта, оптимизированного для других штук, и вот кривая вложений-результата, собирающаяся из вот этих кривых, которые выглядят вот так, и если это перестроить для случая людей, создающих СИИ, то они будут выглядеть вот так». Несправедливое требование точности? Но я делал такие аргументы в Микроэкономике Интеллектуального Взрыва! В ядре всего этого аргумент от невежества. «Ну, это произошло, когда эволюция делала X. Но тут вместо этого происходит Y. Так что может оказаться, что всё по-другому! И, может быть, отношение между технологическим уровнем ИИ во времени и влиянием на реальный ВВП будет выглядеть как отношение между вложением в технологии и сырыми метриками этих технологий в индустриях, в которых это гладкий график! Потому что нарушение непрерывности у шимпанзе и людей вызвано тем, что эволюция не вкладывалась в влияние на мир, а люди будут вкладываться именно туда, так что отношение может быть гладким, потому что это так по умолчанию, и всё это настолько по-другому, что тот пример неприменим, и кто знает, что там внутри этого чёрного ящика, так что моя интуиция по умолчанию говорит, что плавность.» Но мы знаем больше. Мы знаем, например, что эволюция смогла наткнуться на людей, из чего можно сделать вывод, что можно слегка улучшить что-то оптимизированное в обезьяньих областях и получить что-то обобщённое куда шире. Это значит, что в лежащем в основе пространстве алгоритмов, в пространстве когнитивного устройства, есть места, где ты чуть-чуть сдвигаешься и получаешь на выходе огромную кучу дополнительных способностей. Примечательный факт о градиентном спуске – что он может запоминать наборы поверхностных паттернов куда быстрее, с куда большей пропускной способностью, чем эволюция с генами – что-то поверхностнее биологической памяти, поверхностнее генов, но распределённое по компьютерным ядрам и потому способное обрабатывать большие наборы данных, чем биологические организмы, пусть и обучающееся из них лишь поверхностным штукам. Это предоставляет альтернативный путь развития в некоторых когнитивных областях. Но это не значит, что глубоких штук тут нет, что на них нельзя наткнуться, или что история развития ИИ на них не наткнётся до того, как поверхностные не-широко-обобщённые штуки смогут пройти через регулирующие процессы и заиметь огромное влияние на ВВП. На самом деле есть способы одолеть кучу областей за раз. История эволюции гоминидов сообщает, или по крайней мере очень сильно намекает на это, хоть эволюция и не оптимизировала влияние на ВВП. Естественный отбор продвигается, добавляя гены, и не очень много. Если людям относительно шимпанзе добавилось так много областей за раз, то должен существовать способ сделать приблизительно это, добавив не особо много генов к шимпанзе, имеющим только гены, хорошо справляющиеся с обезьяньими штуками. Можешь вообразить, что технология ИИ никогда не наткнётся на что-то, так хорошо обобщающее до того, как у ВВП будет шанс удвоиться за 4 года, благодаря поверхностным не так хорошо обобщающим штукам, которые как-то смогли пробраться во всю экономику и начать широко применяться несмотря на все существующие барьеры регулирования и задержки, но твоё воображение не сделает это правдой. В пространстве проектов есть потенциал к обнаружению штук человеческого уровня обобщённости. Путь, по которому шла эволюция, не привёл сначала к штукам, обобщающим на 95% от человеческого уровня и с 10% человеческого влияния, не потому что эволюция это не оптимизировала, а потому что лежащая в основе когнитивная технология работает не так. Может существовать другая когнитивная технология, которая может следовать такому пути. Градиентный спуск относительно больше этому способствует – при условии, что ты имеешь дело с системами, представляющими собой огромные слоёные пироги трансформеров и этим ограничивается отношение ввода-вывода; всё совсем по другому, если мы говорим о Mu Zero вместо GPT-3. Но весь этот текст представляет позицию «Ну да, конечно, мы по умолчанию интуитивно ожидаем, что колоссальному влиянию будет предшествовать огромное влияние, и, конечно, с людьми и шимпанзе было не так, но это не имеет значения, потому что обстоятельства были иными, так что мы отходим обратно к интуитивным соображениям как к сильному априорному мнению». А на самом деле постулирует конкретную кривую вложений-результата, и не ту, о которой мы знаем. Он требует конкретного чуда. Он заявляет «Что, если ИИ-технологии окажутся в будущем вот как раз такими» и прячет это за «Ну, конечно, это так по умолчанию, это такое сильное по умолчанию, что мы можем взять это за точку старта, рассмотреть аргументы из Микроэкономики Интеллектуального Взрыва, найти, как они могут оказаться неверными, потому что эволюция другая, отбросить их, и вернуться к точке старта». И эволюция действительно другая, но это не значит, что путь, которым пойдёт ИИ, будет вести себя конкретным образом, особенно с учётом того, что ИИ понадобится, в некотором смысле, упустить широко обобщающееся ядро, или, скорее, наткнуться на менее важные штуки, всё же достаточно широко обобщающиеся, чтобы предоставить большое экономическое влияние, прежде, чем наткнуться на действительно широко обобщающееся ядро. И можно сказать «Ну, меня не особо волнует ВВП, волнуют поворотные действия». Но тогда я захочу обратить внимание на то, что этот текст был написан про ВВП, несмотря на все дополнительные отягощающие допущения, вовлечённые в предположение того, что промежуточные усовершенствования ИИ смогут проломиться сквозь все барьеры к по-настоящему массовому применению и отразиться в ВВП, и затем удвоить мировую экономику за 4 года, за которые не произойдёт дальнейшего развития ИИ до широкого обобщения человеческого уровня и конца света. Это указывает на общую проблему с всем этим образом мыслей о плавном влиянии с плавными изменениями. Нельзя просто сказать «О, ну тогда просто отбросим часть про ВВП», следует сомневаться во всём образе рассуждений. Чтобы быть более точным и более Байесианским: априорная вероятность высказанной мной истории ограничивает сверху возможное изменение взгляда на природу интеллекта. Априорные вероятности конкретным образом ограничивающих реальность теорий, отвергающих имеющиеся у нас противоречащие им данные обычно не очень велики; и когда мы начинаем основывать на них всё своё представление о будущем, то мы отклоняемся от основного сценария в свой личный комфортный мир фантазий.

СИИ будет побочным эффектом

[Yudkowsky][19:29]  Суть моего ответа: я ожидаю, что люди заметят, что СИИ приближается, и будут много вкладываться. Этот раздел спорит изнутри своей странной парадигмы, и его тема в основном заставляет меня пожимать плечами; я никогда не ожидал, что СИИ будет побочным эффектом, исключая очевидный смысл, что много вспомогательных технологий будут разработаны при оптимизации чего-то другого. Конец света наступит из-за явного проекта СИИ, потому что я ожидаю, что создать СИИ специально куда проще, чем случайно. (Заодно я ожидаю, что это будет исследовательский проект и прототип, потому что большой разрыв между прототипами и коммерциализированной технологией уверяет, что прототипы в каждый момент времени куда более продвинуты. За коммерческими применениями будут гнаться, и к моменту, когда всё полетит к чертям, финальный сделанный прорыв будет выглядеть имеющим очевидные коммерческие приложения. (После того, как всё полетит к чертям, события становятся менее хорошо определёнными в моей социальной модели, и на время менее устойчивыми в моих моделях ИИ – турбулентность начнёт сбавляться при выходе из атмосферы.))

Нахождение секретного ингредиента

[Yudkowsky][19:40]  Суть моего ответа: это не кажется обычным делом в прошлом, и я не вижу, с чего бы нам больше ожидать этого у СИИ (если мы не принимаем один из других аргументов) […] В той степени, в которой взгляды защитников быстрого взлёта основываются на исторических примерах, я был бы рад узнать о каких-нибудь каноничных примерах, которые, по их мнению, лучше всего иллюстрируют этот паттерн, чтобы мы могли вести более конкретную дискуссию по поводу этих примеров и того, что они говорят о ИИ. …люди и шимпанзе? …ядерное оружие? …AlphaGo? …братья Райт, сосредоточившиеся на устойчивости и соорудившие аэротрубу? …AlphaFold 2, разработанный в Deepmind и чертовски шокировавший всех в области фолдинга белков с качеством работы намного лучше, чем они ожидали даже после предыдущего шока от AlphaFold, скомбинировав много частей, прецеденты которых, я полагаю, можно было по отдельности найти в поле ИИ, но со всеми этими секретными ингредиентами, скомбинированными в одном месте мета-секретным-ингредиентом «только в Deepmind действительно знают, как скомбинировать все эти штуки и создать что-то сложное без примера перед глазами»? …ещё раз люди и шимпанзе, потому что это реально действительно весьма важный пример из-за того, что он говорит нам о том, какие возможности существуют в лежащем в основе пространстве проектов когнитивных систем? Исторические применения ИИ относительно слабо полагались на ключевые озарения, а они кажутся ближайшей аналогией СИИ. …Трансформеры, как ключ к предсказанию текста? Случай людей и шимпанзе, хоть эволюция и не сделала это специально, говорит нам что-то о лежащих в основе механиках. Прыжок к скорости света не выглядел как будто эволюция медленно разрабатывала набор интеллектуальных видов, конкурирующих за эксплуатацию экологической ниши на 5% лучше, или как стабильная индустрия не-из-Кремниевой-Долины с группой конкурентов, накапливающих постепенные технологические улучшения для результатов на 10% выше каждый год. Причина в том, что разработка интеллекта – это тот случай, когда относительно узкая по биологическим стандартам технология оказалась позволяющей огромное количество всего, не требуя дополнительной разработки ещё целой кучи биологических способностей. Потому она и выглядела как Флайер братьев Райт, работающий на достигшей критической массы атомной куче, а не как стабильная индустрия с кучей маленьких инноваций, складывающиеся в лишние 10% каждый год. Следовательно, в пространстве вариантов есть те, что это делают. Создать людей возможно. Может, сначала можно создать что-то, что не люди, может, это будет вокруг несколько лет. Если GPT-3 считается за «что-то, что не люди», то часы уже затикали. Но люди не стали менее возможными. С моей точки зрения, весь этот текст ощущается как длинное повторение снова и снова «Результаты по умолчанию плавные. Результаты по умолчанию плавные. Не обращайте внимания на этот случай не плавных результатов. И на тот тоже. Все не плавные результаты не в том референтном классе. (А высококонкурентные производственные индустрии точно в том. Я не собираюсь заявлять это явно, потому что тогда можно будет подумать о том, как это могло бы оказаться неправильным, я просто буду это подразумевать, чтобы эта мысль просочилась на краю сознания.) Если мы просто много будем говорить о том, что производит плавные результаты, и перечислим все способы, которыми то, что производит не плавные результаты, может отличаться, и как аргументы про не плавные результаты могут провалиться, то мы вернёмся обратно к интуитивным соображениям о плавных результатах. (Мы даже не собираемся обсуждать конкретные плавные результаты как примеры, потому что тогда можно будет увидеть, почему они могут оказаться неприменимы. Это просто так по умолчанию. Не потому что мы это сказали вслух, а потому, что это выглядит как заключение, к которому предполагается прийти после прочтения.)» Я отрицаю подразумеваемое мета-уровневое допущение этого эссе, заставляющее принять как корректную структуру аргументации «А, да, с учётом того, как это эссе написано, у нас точно должны быть сильные априорные причины быть убеждёнными в плавных результатах – просто подумай о каких-нибудь плавных результатах, это наш референтный класс, теперь у тебя есть сильная причина верить, что результаты СИИ будут плавными – мы не собираемся спорить по поводу этих предпосылок, просто будет рассуждать, будто они есть – теперь давайте посмотрим на аргументы против плавных результатов – довольно слабые, не так ли? Мы точно можем представить, как они могут быть ошибочными? Мы точно можем поспорить, почему они тут неприменимы? Так что в конце концов мы возвращаемся к нашей сильной априорной вере в плавные результаты. Эссе написано с этим заключением, так что аргументы, должно быть, ведут туда.» Я: «Окей, а что если кто-то соберёт вместе необходимые для обобщённого интеллекта части, и они хорошо будут масштабироваться с добавлением GPUs и сделают ВЖУХ? Скажем, в случае человека, это некоторые системы восприятия с контролем воображения, библиотека концептов, эпизодическая память, работающая в реальном времени процедурная память, все они есть у шимпанзе, и мы добавляем к этому рефлексию, и получаем человека. Только, в отличии от людей, когда у нас есть работающий мозг, то можно сделать мозг в 100 раз больше, добавив в 100 раз больше GPU, и он может думать некоторые мысли в 10000 раз быстрее. И, как выясняется, это значительно более эффективная мощность мозга, чем изначально вложенная в проект. Так что получается значительно более умный СИИ. Это для конкретности, реальность склонна быть на более Элиезеровской стороне оси Элиезер-Хансон, так что может быть это всё можно сделать проще.» Симплицио: «А, но что если за 5 лет до этого, кто-то соберёт другой ИИ, который не работает как человек, но обобщает достаточно широко, чтобы иметь большое влияние на экономику, но недостаточно широко, чтобы улучшить себя или обобщиться до технологии ИИ или обобщиться до всего и устроить конец света, и через 1 год он будет массово применяться, чтобы делать кучу всякого разного в реальном мире, где нынешние регуляции требуют делать это конкретным образом независимо от технологий, и потом в следующие 4 года он удваивает мировую экономику?» Я: «Ну… что это конкретно за ИИ, и почему за эти 5 лет ни у кого не получилось дособрать полноценную штуку человеческого уровня? В первую очередь, почему мы вообще думаем именно об этом странно конкретном сценарии?» Симплицио: «Потому что если ты можешь собрать что-то, что имеет колоссальное влияние, то ты можешь собрать большую часть этого чего-то и заиметь огромное влияние! Большинство технологий такие. Я рассмотрел несколько штук, которые не такие, и решил, что они не имеют отношения к делу.» Я: «Особенно если мы говорим о воздействии на ВВП, мне кажется, что большинство явных и неявных «технологий» на самом деле вовсе не такие. Не было криптовалюты, разработанной за год до Биткоина с 95% идей и 10% объёма транзакций, не говоря уже о доатомной бомбе. Но, вообще, ты можешь дать мне любую конкретную визуализацию того, как это может так развернуться?» И конкретной визуализации нет. Всё, что я могу заставить Симплицио сказать в ответ, было бы нереалистично, потому что конкретной визуализации нам не дали. Это не совпадение, что я часто использую конкретный язык и конкретные примеры, а аргументы с той стороны – не использует. Впрочем, если мы обрисовываем научно-фантастические сценарии, то, я полагаю, можно представить группу, которая разрабатывает что-то достаточно развитой GPT-подобное и развёртывает это на Твиттере, чтобы убеждать избирателей и политиков в нескольких развитых странах ввести открытые границы и политические системы, поддерживающие открытые границы, и разрешить строить дома, что удвоит ВВП за 4 года. И раз было возможно использовать довольно топорную ИИ-технологию, чтобы удвоить ВВП, то разработка настоящего СИИ, который устроит конец света, вполне может занять 4 года после этого. ЛАДНО. НУ И ЧТО. ВСЁ РАВНО ВСЕ УМИРАЮТ.

Порог универсальности

[Yudkowsky][20:21]  Легко представить слабый ИИ как что-то вроде ограниченного человека, чьи ограничения уменьшаются со временем. Мы знаем, что когда они дойдут до нуля, ИИ будет выше порога универсальности. Прямо сейчас он ниже порога. Так что где-то посередине должен быть момент, когда он пересекает этот порог – и тогда и предсказывается быстрый взлёт. Но ИИ не похож на ограниченного человека. Проектировщики ранних ИИ систем будут пытаться сделать его как можно применимее. Так что если универсальность невероятно полезна, то она появится в проектах ИИ как можно раньше; проектировщики будут добиваться её за счёт других параметров (вроде стоимости или скорости). Так что тут мы почти что возвращаемся к предыдущему пункту: есть ли некоторый секретный ингредиент, который даст тебе универсальность, но без которого её не достичь, как ни старайся? Я думаю, что это маловероятно, по причинам, описанным в предыдущем разделе. Благодаря существованию людей мы знаем, что есть человекоподобная широкоприменимая технология обобщённого интеллекта. Я думаю, что то, что этот раздел хочет заявить, или должен заявить для поддержания аргументации – это что существует некая интеллектуальная технология, достаточно применимая, чтобы удвоить мировую экономику за 4 года, но не применимая на уровне устраивания конца света, и при этом она возможна в развитии ИИ за 4 года до любой технологии обобщённого интеллекта, которая, если дать ей достаточно вычислительных мощностей, отмасштабируется до достаточно широких мыслей, чтобы сделать ВЖУХ (или создать наномашины, но если ты можешь сделать это, то ты скорее всего можешь сделать и ВЖУХ, если ты не исправимый). Что в разделе говорится вместо этого – «Я думаю, что мы получим универсальность куда раньше, чем на эквиваленте биологического уровня людей и шимпанзе, так что первая универсальная в этом смысле штука будет слабее людей.» Весьма правдоподобно, что это так. Из этого не следует, что, когда в этот впечатляющий результат вкинут в 100 раз больше вычислительных мощностей, ему потребуется ещё хотя бы 5 лет, чтобы добраться до чего-то по-настоящему интересного (и всего 1 год до чего-то достаточно типа-интересного, чтобы мгновенное его распространение удвоило мировую экономику за 4 года). К тому же, это не обязательно, а лишь правдоподобно. К примеру, ставшая универсальной штука может обладать поверхностной мощностью градиентного спуска далеко за пределами того, что есть у аналогичных приматов. Приматы не писали код так же хорошо, как Codex, когда впервые начали думать глубоко. Они не могли совершать точные операции с плавающими точками. Их максимальная скорость мыслей была куда медленнее. У них не было доступа к своему коду или к содержимому своей памяти и т.д., и т.п. Но главное, на что я хочу обратить внимание – это огромный разрыв между тем, что этому разделу надо заявить, и что он на самом деле заявляет и обосновывает. На самом деле он заявляет некоторую локальную техническую деталь: первое возникновение обобщённости произойдёт в разуме, куда менее сложно устроенным, чем обезьяньи мозги в момент их превращения в человеческие. Дальше он от этого неявно перепрыгивает через кучу пропущенных шагов к подразумеваемому заключению, что такая технология и её усовершенствования будут обладать плавным поведением, таким, что в какой-то момент их влияние будет достаточно большим, чтобы удвоить мировую экономику за 4 года, но никакие дальнейшие улучшения за те же самые 4 года не уничтожат эту самую экономику. Лежащий в основе аргумент о том, как может работать технология ИИ, правдоподобен. Шимпанзе безумно сложные. Я в целом ожидаю, что мы получим СИИ задолго до того, как кто-нибудь хотя бы попытается создать что-то настолько сложное. Следующий же шаг аргументации, про способности, уже весьма сомнителен, потому что такая система будет использовать мощнейшие способности градиентного спуска для освоения областей, для которых доступны большие наборы данных, а гоминиды не начинали с мощным инстинктивным мастерством всех областей, для которых можно создать большой набор данных. Поэтому гоминиды не начали играть в го на сверхчеловеческом уровне, как только кто-то рассказал им правила и дал один день на игру с самим собой, а это вполне та разновидность способностей, которые можно ожидать от зарождающегося СИИ (если мы оптимистично, доверчиво и ошибочно представим, что его педаль газа не вдавили как можно дальше). Можно ли ожидать огромного влияния от некой доуниверсальной поверхностной системы с подобными способностями? Может быть, хотя это и не аргумент из эссе. Это был бы конкретный исход, на который не указывает ничего конкретного, но я не могу сказать, что он исключён. Мои параллельные реакции на это: «Если ИИ-технология такая глупая, то как были обойдены все бюрократические преграды, которые на самом деле ограничивают экономический прогресс» и «Окей, но в общем-то ну и что, кому какое дело, как это влияет на то, что мы все умрём?» Есть и другая причина, по которой я скептически отношусь к резкому взлёту из-за секретного ингредиента универсальности: я думаю, что мы уже можем создавать универсальные ИИ (которые, если им дать достаточно времени, будут обучаться сами и достигать произвольно высоких способностей), если попытаемся, и причина по которой мы этого не делаем – то, что это просто не важно для качества работы, а получившиеся системы будут очень медленными. Этот аргумент взгляда изнутри очень сложно подробно описать здесь, и я не думаю, что вся позиция от него зависит, но он важен для понимания моих взглядов. Я не понимаю, почему был высказан этот аргумент и куда он ведёт. Я не могу пройти Идеологический Тест Тьюринга автора. Я не знаю, почему автор считает, что это повышает вероятность медленного взлёта. В лучшем случае, я могу предположить, что автор думает, что «резкий взлёт» основывается на предположении, что «универсальности» очень сложно достигнуть, что она произойдёт очень внезапно и на позднем этапе, так что если заявить, что универсальности можно достигнуть прямо сейчас, то это опровергает аргументы за резкий взлёт.

«Понимание» не непрерывно

[Yudkowsky][20:41]  Суть моего ответа: я всё ещё не понимаю этот аргумент и не уверен, что в нём есть, что обсуждать. Может быть, понимание мира склонно щёлкать, от «особо ничего не понимаю» к «понимаю в общем-то всё». Этого можно ожидать, поскольку всё сцеплено со всем остальным. Нет, идея в том, что ядро перекрывающихся штук, обученных обкалывать каменные топоры и перехитривать других обезьян, обобщится до создания космических кораблей; так что эволюционный отбор по пониманию набора штук однажды наткнётся на обобщённых понимателей-штук, которые понимают куда больше всего. Градиентный спуск вполне может от этого отличаться, но, когда дело доходит до экстраполяции этой разницы, нам не следует путать воображение с знанием. В настоящий момент, градиентный спуск приводит к массовому запоминанию перекрывающихся поверхностных паттернов, которые затем комбинируются в странный псевдо-интеллект в областях, в которых мы может предоставить большие наборы данных, и пока особо не обобщающийся за их пределы. Мы можем выдвинуть гипотезу, что есть некоторый следующий шаг к какой-то странной штуке, чья обобщённость промежуточна между градиентным спуском и людьми, но мы её пока не видели, и не должны путать воображение с знанием. Если такая штука существует, то она вовсе не обязательно находится на правильном уровне обобщённости, чтобы удвоить мировую экономику за 4 года, но не быть в состоянии создать СИИ получше. Если она на этом уровне обобщённости, то нигде не сказано, что никакая другая компания не разработает прототип с более глубоким уровнем обобщённости за эти 4 года. Я также отмечу, что точно можно было посмотреть на шаг от GPT-2 к GPT-3 и сказать «Вау, посмотрите, как куча всего, кажется, просто одновременно щёлкнула в GPT-3.»

Задержка развёртывания

[Yudkowsky][20:49]  Суть моего ответа: развёртывание нынешних ИИ медленное, а развёртывание мощных ИИ будет быстрым, но в промежутке будут ИИ, чьё развёртывание будет занимать промежуточное время. В моей модели большая часть задержки развёртывания вызывается задержкой на принятие и регулирование и бюрократическим склерозом компаний и стран. Если удвоение ВВП – такое большое дело, то откройте границы и стройте дома. Ох, это нелегально? Что ж, строящий дома ИИ тоже! Правдоподобно, что технология идеальных переводов с помощью ИИ возникнет за несколько лет до СИИ, но это не значит, что исчезнут все препятствия к интернациональной торговле и движению труда и наёму через границы, потому что эти препятствия – не отсутствие идеальных переводов. Так что, непрерывность нарушается в моменте, когда все падают мёртвые и ИИ начинает делать свои дела без одобрения FDA. Этот скачок может и будет предваряться ранними прототипами до-ВЖУХ-уровня, которые могут делать крутые штуки до-ВЖУХ-уровня, но вовсе не обязательно будет предваряться массовым рыночным распространением чего-то достаточно важного, чтобы удвоить мировой ВВП.

Рекурсивное самоулучшение

[Yudkowsky][20:54]  Суть моего ответа: до того, как ИИ станет хорош в самоулучшении, будет ИИ, посредственный в самоулучшении. Ой, да брось. Даже простые непрерывные игрушечные модели РСУ работают не так. Между факторами преумножения нейтронов в 0.999 и 1.001 очень большой разрыв в результирующем поведении. За пределами игрушечных моделей: за последние 10000 лет люди прошли путь от посредственного усовершенствования своих ментальных систем до способности (еле-еле) собирать ИИ-системы, но 10000 лет – одно мгновение для эволюции – в нашем случае это эквивалентно «За месяц до ИИ, хорошего в самоулучшении, будет ИИ, посредственный в самоулучшении». (Или, возможно, за час, если реальность опять окажется дальше по оси Элиезер-Хансон, чем Элиезер. Но при условии чего-то, похожего на нынешние условия, час или месяц – небольшая разница.) Тут опять делается упор на интуитивное соображение о том, что постепенные изменения внутреннего устройства приводят к плавным изменениям результатов, что (как без слов сообщает нам мета-уровень этого эссе) настолько сильно априори, что в это следует верить, лишь хорошенько ослабив свидетельства и аргументы против этого. И аргумент идёт так: Прежде систем, хороших в самоулучшении, будут системы, посредственные в самоулучшении; подразумевается: «прежде» значит «за пять лет», не «за пять дней»; подразумевается: это приведёт к плавным изменениям результатов, несмотря на то, что непрерывные петли обратной связи работают не так.

Обучение и тестирование

[Yudkowsky][21:12]  Суть моего ответа: до того, как кто-то сможет обучить по-настоящему мощный ИИ, кто-то другой сможет обучить ИИ немного похуже. Ага, и до того, как ты можешь эволюционировать человека, ты можешь эволюционировать Homo erectus, чуть похуже человека. Если ты можешь потратить $X на обучение СИИ, который может захватить мир, то почти наверняка кому-то другому шесть месяцев назад имело смысл потратить $X/2, чтобы обучить СИИ, который может всего лишь радикально преобразовать мир, поскольку это принесло бы шесть месяцев немыслимых прибылей. Полагаю, это имеет некоторый смысл, если отбросить в сторону согласуемость и предположить, что предыдущие параграфы опровергли понятия ВЖУХ, самоулучшения и порога между не-накапливающимися и накапливающимися результатами (например, в случае людей, когнитивными инновациями вроде «письменного языка» и «науки»). Тогда, да, если ты вырастил СИИ, согласованный, чтобы «захватить мир», то эти когнитивные мощности не были результатом ВЖУХ или других самоулучшений, перехода от не-накапливающихся результатов к накапливающимся или перехода пониманием порога универсальности благодаря получению универсальных механизмов, как получилось у людей по сравнению с шимпанзе. Так что, получается, это должна была быть штука, которую можно выучить градиентным спуском, и за половину или десятую часть этого градиентного спуска можно создать на одну десятую так же хорошо спроектированные наномашины, которые могут обойти одну десятую бюрократии. Если нет негладких частей у кривой технологий, кривой мышления и кривой окружения, то должно быть возможно получить кучу денег с использованием примитивной версии любой технологии, которая может захватить мир. И если мы оглянемся на исторические примеры, почему бы и нет, это вполне может быть правдой! Вполне возможно, что на шесть месяцев развернут универсальную сверхчеловеческую технологию перевода, она не удвоит мировой ВВП, но за неё заплатит много людей, и она принесёт много денег! Хоть и не было компании, создавшей 90% сайта Amazon с 10% его рыночной стоимости, но если отдалиться и посмотреть на подобные ИИ индустрии и подобные СИИ технологические вехи, то почему бы и нет, в этих индустриях иногда делались некоторые деньги на пути к вехе, особенно если могли найти не слишком зарегулированную нишу! Переводы сейчас вполне подойдут! Так что может быть, что кто-нибудь использует технологию.-предшественника, чтобы создать сверхчеловеческого переводчика, развернуть его на 6 месяцев раньше и заработать за эти 6 месяцев кучу денег. НУ И ЧТО. ВСЁ РАВНО ВСЕ УМИРАЮТ. И «радикальное преобразование мира» вместо «захвата мира» кажется мне просто переформулированным отрицанием ВЖУХ. Совершение любой из этих вещей быстро без человеческого бюрократического сопротивления для меня выглядит требующим уровня когнитивной мощности, достаточно опасного, чтобы при провале согласования его исправимости получился ВЖУХ. Вроде того, что если ты можешь сделать это намеренно, то ты оперируешь режимом, в котором запуск ИИ с более высокими границами циклов for сделает ВЖУХ, но ты вежливо просишь его, пожалуйста, не делать ВЖУХ. Если делающие это люди хоть немного в своём уме, они воздержатся от всего лишь массивного преобразования мира, пока не будут готовы сделать что-то, что предотвратит конец света. И преодоление разрыва между «массивное преобразование мира незадолго до конца света» и «окончательно предотвратить конец света» занимает куда больше 6 месяцев, А если другие люди имеют те же технологии, масштабирующиеся до «массивного преобразования», то кто-то другой уже создаст ИИ, который уже вовсю вжухнет. Аналогично, если твой СИИ предоставляет тебе решающее стратегическое преимущество, то кто-то ещё мог пораньше потратить меньше, чтобы получить довольно большое военное преимущество, которое позволило бы им забрать твои ресурсы. Опять же, это предполагает какую-то странную модель, в которой у всех уже согласованы дальние рубежи способностей, у всех есть согласованная версия самого мощного СИИ, который они могут создать, и ни у кого нет технологического преимущества вроде того, что сейчас есть у Deepmind; так что прежде чем ты разгонишь свой СИИ до того уровня мощности, на котором он может захватить весь мир, используя свои предельные способности в военных целях (согласование этого считается тривиальным и не рассматривается), кто-то ещё возьмёт свой легко согласуемый менее мощный СИИ и использует пределы его способностей, чтобы получить 90% этого военного преимущества… это тут подразумевается? А в представляемой мной картине СИИ, который тебя убивает с помощью «решающего стратегического преимущества» – это тот, который вжухает и получает нанотехнологии, и нет, шестью месяцами раньше ИИ послабее не вжухнул на 95% и не получил 95% нанотехнологий.

Скачок на 100% автоматизации

[Yudkowsky][21:31]  Суть моего ответа: на момент, когда людей полностью удалят из процесса, они уже будут умеренно улучшать вывод, а не служить жёстким бутылочным горлышком. Вообще, это не очень важно для моих взглядов. И ещё это не очень хорошее описание того, как лошадей удалили из автомобилей, или как людей удалили из игры в го.

Вес свидетельств

[Yudkowsky][21:31]  Мы обсудили много возможных аргументов в пользу быстрого взлёта. В целом было бы осмысленно считать, что никакой отдельный аргумент не делает его вероятным, но все вместе они становятся убедительными. Однако, я думаю, что каждый из этих факторов идеально сочетается с историей постепенных изменений и постепенно ускоряющимся гиперболическим ростом, так что они вовсе не опровергают эту гипотезу. Ох. А что если бы мы имели эссе из зеркальной вселенной, которое снова и снова рассматривало бы быстрый взлёт как априорное предположение, и кропотливо показывало бы, как куча конкретных аргументов за медленный взлёт могут и не быть верными. Всё это эссе кажется мне будто вытянутым из той же враждебной вселенной, из которой взялась сторона Робина Хансона дебатов про ВЖУХ. Все эти абстрактные аргументы, лишённые конкретных иллюстраций, вроде «не обязательно так…» и «теперь, когда я показал, что не обязательно будет X, то на мета-уровне я говорю, что теперь вам надо верить в Y». Мне очень кажется, что убеждённый этим эссе человек был бы убеждён аргументами Хансона в 2008 и был бы ошарашен AlphaGo и GPT-3 и AlphaFold 2. И эмпирически я уже наблюдал, что у меня нет власти вытаскивать людей из гипнотического кивания Хансоновским аргументам, даже написав куда более длинные эссе, чем это. Нежные мечты Хансона о специфичности областей, и о плавном прогрессе в штуках вроде го, и, конечно, о том, что у кого-то будет на 90% такой же хороший предшественник AlphaFold 2, прежде чем Deepmind его сделает, и о том, что уровень обобщённости GPT-3 просто невозможен, оказались опровергнуты. Но несмотря на это, они в целом опять выставлены в этом эссе. И люди всё ещё кивают. Реальность просто… на каком-то глубоком уровне работает не так. Она не играет по тем правилам, которые воображают люди, представляя какую-нибудь успокаивающую абстракцию, приводящую к плавному миру. Реальность не так гордится такими аргументами, как некоторые ЭА. Есть набор опровергающих это интуитивных обобщений из опыта, но я не знаю, как их передать. Есть понимание правил аргументации, приводящей к закатыванию глаз на локально неверные скачки и вкрадчивые допущения Хансонианских аргументов, вместо понимающего кивания их мудрой скромности и взгляду извне, а потом ойканья, когда возникает AlphaGo или GPT-3. Но эмпирически выяснено, что, кажется, я не знаю, как передавать это людям заранее, до неизбежных и предсказуемых противоречий от реальности, не так уважающей Хансонианские аргументы, как Хансон. Аргументы просто звучат для них убедительно. (Сам Хансон всё ещё не ойкнул на реальность, в отличии от части его аудитории; возможно, потому, что его абстракции более высокоуровневые? – часть его слушателей, соглашаясь с ним, вероятно, подразумевала конкретный мир, не допускающий существования GPT-3; но, возможно, Хансон более абстрактен и не представлял чего-то настолько конкретного?) Если я не отвечаю на такие эссе, люди находят их комфортными и согласно кивают. Если я отвечаю, мои слова менее комфортные и более конкретные и к ним проще представить конкретные возражения, они меньше похожи на длинные цепочки абстракций, похожие на очень абстрактные слова в научных статьях, звучащие убедительно потому, что они похожи на другие штуки, которым предполагается верить. А через 3 месяца выходит следующее эссе. Их бесконечный колодец. Мне надо бы научить людей перестать пить из колодца, а не стучать им по спинам, пока они не выкашляют воду глоток за глотком, или, скорее, безрезультатно стучать им по спинам, пока реальность не начнёт им противоречить, а тогда треть из них это заметит и что-то выкашляет, но не выучит общего урока и станет пить снова. И я не знаю, как научить людей перестать пить из колодца. Я пытался, но не получилось. И если я напишу ещё одну Цепочку, у меня нет идей, убеждающих, что она сработает. Так что, убеждения ЭА по поводу конца света выглядят как содержимое последнего ведра из бесконечного колодца аргументов за медленный взлёт, ещё не опровергнутого очевидными-даже-для-них явно быстро-обобщающимися штуками, происходящими по пути к концу света. И не стоит утруждаться замечать, я знаю, что весь этот ответ не написан спокойным пригожим для таких аргументов тоном. Я устал. Я потерял многие надежды. Нет очевидных штук, которые я могу сделать, или аргументов, которые я могу предъявить, про которые я ожидаю, что они будут по-настоящему полезными в том смысле, что из-за них не будет конца света. У меня нет энергии на спокойные аргументы. То, что осталось, это отчаяние, которому можно дать голос.

 5.6. Дискуссия Юдковского/Кристиано: Прогресс ИИ и точки пересечения

[Christiano][22:15]  В той степени, в которой возможно делать предсказания о 2015-2020, основываясь на твоих взглядах, у меня сейчас ощущение, что они куда в большей степени ошибались, чем были правы. С удовольствием это обсужу. В той степени, в которой ты готов заключать пари о 2025, я ожидаю, что ты будешь в основном неправ, и я буду рад принять пари (в основном, чтобы потом было более очевидно, оправдались ли твои взгляды). Не уверен, что тут это уместно. Можем сделать отдельный канал, чтобы избежать мешанины.

[Yudkowsky][22:16]  Возможно. Я думаю, что 2015-2020 разыгрались на куда более Элиезеровской стороне, чем Элиезер по оси Элиезер-Хансон, что, конечно, означает, что я был неправ. Где мы разойдёмся в ставках про 2025, по твоему мнению? Я ожидаю, что ты в основном неправильно оцениваешь мои взгляды, но я всегда рад услышать что-нибудь конкретное.

[Christiano][22:20]  Я думаю, что важные пункты такие: (i) думаю, что ты значительно переоцениваешь, насколько большим нарушением нгепрерывности/сломом тренда является AlphaZero, (ii) кажется, твои взгляды подразумевают, что мы быстро перейдём от уровня куда ниже человеческого к уровню куда выше, и что маловероятно медленное прохождение через человеческий уровень для многих задач. Я не уверен, что мы можем заключить пари про (ii), не думаю, что достаточно хорошо понимаю твои взгляды, но не вижу, как они могут выдавать те же предсказания, что и мои, на следующие 10 лет.

[Yudkowsky][22:22]  Каковы твои предсказания на 10 лет?

[Christiano][22:23]  Мои основные ожидания – что в каждой данной области применимость ИИ-систем будет медленно расти, мы увидим точку пересечения, где их результаты сравняются с человеческими, и из этого момента мы сможем оценить, сколько осталось до взлёта, посмотрев на «сколько времени потребовалось ИИ-системам, чтобы стать вдвое влиятельнее?», и это даст нам число скорее похожее на ~1 год, а не недели. В точке пересечения получится довольно быстрое изменение производной, это будет вроде (x+y), где y растёт быстрее, чем x. Я ощущаю, что это должно приводить к разным ожиданиям о том, насколько влиятельным будет ИИ в каждой конкретной области – я не вижу, как заставить работать ультра-быстрый-взлёт, если считать, что результаты ИИИ увеличиваются плавно (раз скорость прогресса в точке пересечения будет похожа на нынешнюю, если только разработка не масштабируется намного быстрее). Так что я думаю, что у нас будут отстойные ассистенты программиста, а потом менее отстойные, и так далее. И они очень значительно увеличат скорость программирования до последних времён.

[Yudkowsky][22:25]  Ты говоришь не на том языке, что я. Мои наиболее уверенные заявления про ИИ-технологии говорят о том, что произойдёт, когда они поднимутся из метафорической атмосферы и турбулентность ослабнет. Разумы, настолько же ранние на когнитивном технологическом дереве, как люди, безусловно могут творить всякие странные штуки, в смысле, просто посмотрите на людей. Теперь возьмём совершенно чужеродную версию со своим собственным набором факторов странности. Я уверен, она будет очень странной.

[Christiano][22:26]  ОК, но ты продолжаешь говорить о том, как люди с моими глупыми взглядами были бы «застаны врасплох» историческими разработками. Конечно, чтобы заявлять такое, надо иметь возможность делать какие-то предсказания?

[Yudkowsky][22:26]  Ну, конечно, сейчас, когда внезапно появился Codex с удивительно высоким технологическим уровнем, нам должны быть видны скачки в его (и подражателей) способностях за годы. Как ты думаешь, что мы тут предскажем по-разному?

[Christiano][22:26]  Почему ты считаешь, что у Codex высокий базовый технологический уровень? Модели непрерывно становятся лучше прим масштабировании, а первая техническая демо-версия была настолько слабой, что почти бесполезной.

[Yudkowsky][22:27]  Я считаю, что второй лучший программистский ассистент был, как бы, не применимым на практике.

[Christiano][22:27]  Да И он всё ещё неприменим

[Yudkowsky][22:27]  Может быть. Некоторые люди в HN (не знаю, что это – прим. пер.), кажется, считают, что он полезный. Сам не пробовал.

[Christiano][22:27]  ОК, с удовольствием приму пари.

[Yudkowsky][22:28]  Я думаю, что предыдущий ассистент не был бы хорош в написании игры вроде Asteroids, даже если взять настолько же подстроенную для демонстрации версию.

[Christiano][22:28]  Безусловно, это [у Codex] была радикально лучшая технодемка

[Yudkowsky][22:28]  Под «предыдущим» я имею в виду «предыдущий развёрнутый», не «предыдущее поколение прототипов в лаборатории OpenAI».

[Christiano][22:28]  Мой основной сценарий в том, что модель становится лучше и применимее с каждым удвоением (или с каждым годом разработок ИИ) довольно плавно. Так что ключевой лежащий в основе нарушения непрерывности параметр – это насколько рано создают первую версию – до или после того, как она становится по-настоящему важной? И ответ, кажется: до того И потом она становится всё важнее и важнее, по мере того, как люди её улучшают Может, мы на одной волне по поводу постепенного роста полезности? Но я всё ещё удивляюсь, откуда берётся вжух

[Yudkowsky][22:30]  Ну, примерно… перед тем, как мы получаем системы, которые могут сделать ВЖУХ и создать нанотехнологии, мы должны получить более примитивные системы, которые могут писать игры вроде Asteroids и решать фолдинг белков. Звучит разумно. И это произошло, и теперь твоя модель говорит, что теперь нам можно получить ВЖУХ, потому что технологические предшественники есть, так что пророчество исполнено?

[Christiano][22:31]  Нет

[Yudkowsky][22:31]  Я и не думал.

[Christiano][22:31]  Не могу сказать, ты не понимаешь то, что я говорю, или не пытаешься, или понимаешь и просто говоришь раздражающую риторическую чепуху В некоторый момент будет ИИ-система, которая делает (людей+ИИ) в 2 раза лучше в дальнейшем ИИ-прогрессе

[Yudkowsky][22:32]  Я знаю, что твоя точка зрения не такая. Я не знаю, какая она, или какие конкретные прогнозы она выдаёт, не говоря уже о том, какие из них будут отличаться от моих.

[Christiano][22:32]  Может, по непрерывности ты можешь допустить существование такой системы, даже если не считаешь, что она на самом деле будет? Я хочу (i) сделать предсказание, что ИИ будет на самом деле оказывать влияние в некоторый момент времени, и (ii) поговорить о том, что произойдёт до и после этого Я говорю про ИИ-системы, которые будут непрерывно становиться более применимыми, именно это их свойство заставляет меня считать, что (i) ИИ будет с некоторого момента оказывать влияние и (ii) позволяет мне продуктивно рассуждать о том, как ИИ будет выглядеть до и после этого момента. Я ожидаю, что твои взгляды заявляют что-то о том, почему усовершенствования ИИ не непрерывны или о том, почему непрерывные усовершенствования приведут к не непрерывным скачкам продуктивности системы (люди + ИИ)

[Yudkowsky][22:34]  В некоторый момент будет ИИ-система, которая делает (людей+ИИ) в 2 раза лучше в дальнейшем ИИ-прогрессе Исполняется ли это пророчество использованием некоего узкого старого ИИ-алгоритма для проектировки TPU, а потом люди с использованием TPU могут за месяц написать научную статью, которая иначе заняла бы два месяца? И потом мы можем перейти к ВЖУХ, потому что пророчество о событиях до-ВЖУХ исполнено? Я понимаю, что нет, но я не знаю, какое у тебя на уме более узкое предсказание.

[Christiano][22:35]  Пророчество исполнено, если ты можешь использовать старый ИИ, чтобы вдвое ускорить каждую часть исследований ИИ, так что вся область будет продвигаться вдвое быстрее и, может, ещё всего лишь через 6 месяцев он ускоряет область ещё вдвое, а потом через 3 месяца, а потом…

[Yudkowsky][22:36]  Что, всё поле? Даже написание научных статей? Даже одобряющих и публикующих эти статьи редакторов в журналах? Если мы ускорим все части, кроме редакторов, пророчество не исполнено, и ВЖУХ произойти не может?

[Christiano][22:36]  Нет, я имею в виду улучшения в общих результатах, с учётом актуальных реалистичных узких мест, возникающих на практике

[Yudkowsky][22:37]  То есть, если реалистичным узким местом в какой-то момент становится человек-вахтёр, то пророчество неисполнимо, и ВЖУХ произойти не может.

[Christiano][22:37]  Потому я и говорю «в два раза лучше в дальнейшем прогрессе», вся система должна выдавать вдвое больше Тогда пророчество неисполнимо, и я был неправ В смысле, я думаю, что резкий взлёт очень вероятен, если люди будут отказываться или будут неспособны использовать ИИ для ускорения прогресса в области ИИ по причинам, не связанным с его способностями, а в некоторый момент всё же захотят это делать

[Yudkowsky][22:38]  …потому что с твоей точки зрения, Пророчество обязательно предусматривает, что люди и ИИ вместе работают над ускорением всего коллективного поля ИИ?

[Christiano][22:38]  Сойдёт, если ИИ работает один Идея в том, что он перехватит это у людей в тот момент, когда он примерно настолько же быстр, как люди Почему нет? Почему он должен перехватить, когда одно удвоение занимает 10 секунд, а не 1 год? Это как предсказывать, что культурная эволюция будет бесконечно быстра, вместо того, чтобы делать более очевидное предсказание, что она станет важнее обычной эволюции в точности когда будет настолько же быстра

[Yudkowsky][22:39]  Я представляю себе мир, где люди развивают кучу странных прототипов во время конца света. Я даже не уверен, есть ли на моём родном языке короткая фраза, являющаяся переводом короткой фразы Пола «примерно настолько же быстр, как люди».

[Christiano][22:40]  Согласен ли ты, что можно измерить скорость, с которой сообщество человеческих исследователей ИИ разрабатывает и реализует улучшения в своих ИИ-системах? Ну, мы можем посмотреть на то, насколько хороши были ИИ-системы в 2021 и в 2022, и говорить о скорости прогресса?

[Yudkowsky][22:40]  …когда в точности в истории гоминидов их интеллект был в точности таким же быстрым, как эволюционная оптимизация??? Согласен ли ты, что можно измерить скорость, с которой сообщество человеческих исследователей ИИ разрабатывает и реализует улучшения в своих ИИ-системах? Ну как бы… очевидно, нет? Чёрт побери, как бы мы могли измерить реальный прогресс ИИ? Что было бы осью Y на этом графике? У меня есть грубое интуитивное ощущение, что он шёл быстрее в 2015-2017, чем в 2018-2020. «Что шло?» скажет скептик, и я отвечу «Не знаю».

[Christiano][22:42]  Вот способ измерения прогресса, который тебе не понравится: для почти всех задач изначально можно их сделать с большим количеством вычислений, а по мере улучшения технологии – с меньшим. Мы можем измерить, как быстро падает необходимое количество вычислений.

[Yudkowsky][22:43]  Да, это было бы прикольно измерить. Это не является очевидно относящимся к чему-то важному, но было бы прикольно.

[Christiano][22:43]  Другой способ, который тебе не понравится: мы можем зафиксировать вкладываемые ресурсы и смотреть на качество результатов в любой данной области (или даже на прибыль) и смотреть, как быстро оно изменяется.

[Yudkowsky][22:43]  Интересно, что бы это сказало о го в эпоху AlphaGo. Или что сказала бы вторая метрика.

[Christiano][22:43]  Я думаю, всё было бы в порядке, и ты не вполне понимаешь, что происходит в глубинным обучением в настольных играх. Впрочем, я тоже не понимаю во всех подробностях, так что это больше предсказание, а не знание задним числом. Но это в достаточной степени задним числом, чтобы мне не следовало получать за это заметный авторитет.

[Yudkowsky][22:44]  Я не знаю, какой результат ты бы счёл «в порядке». У меня нет в голове конкретного «неподходящего» результата.

[Christiano][22:45]  А, конечно Если это был просто честный вопрос, то я с удовольствием использую его как конкретный случай Я бы измерял скорость прогресса в го, смотря, как быстро улучшается рейтинг Эло с временем или затраченными на разработку ресурсами.

[Yudkowsky][22:45]  В смысле, у меня нет сильных предсказаний про это, так что это для меня пока не выглядит очевидным источником разногласия

[Christiano][22:46]  Я бы грубо предположил, что оно так и будет продолжаться, и при наличии нескольких трендов, которые можно экстраполировать, оценил бы точку пересечения, основываясь на них

[Yudkowsky][22:47]  Предположим, что кривая гладкая, а мы увидим, что мощный прогресс в го произошёл потому, что в Deepmind влили тонны дополнительных трат в разработку. Тогда ты заявишь, что этого не может произойти с СИИ, потому что к моменту, когда мы до него доберёмся, люди будут сильно толкать дальние рубежи в конкурентном окружении, где все уже тратят столько, сколько могут себе позволить, прямо как в высококонкурентной производственной индустрии.

[Christiano][22:47]  Ключевым вводом для предсказаний конкретно о AlphaGo Zero был бы точный вид зависимости от трат на разработку, чтобы попробовать предсказать изменения при переходе от одного программиста к большой команде в DeepMind, но большинство осмысленных функций давали бы приблизительно правильное впечатление Да, мои взгляды определённо предсказывают, что проще улучшить что-то, на что люди не потратили много денег, чем что-то, на что потратили. Отдельное предсказание – что люди потратят огромную кучу денег на относящиеся к делу технологии. Может, сейчас это $1 млрд./год, и я представляю уровень вложений достаточно большой, чтобы узким место стала доступность людей с нужными навыками.

[Bensinger][22:48]  (Предыдущие комментарии Элиезера про AlphaGo как слом тренда, в виде быстрых ответов Miles Brundage: https://twitter.com/ESRogs/status/1337869362678571008 )

 5.7. Допустимый экономический рост

[Yudkowsky][22:49]  Изменяется ли твоё предсказание, если всё полетит к чертям в 2025 вместо 2055?

[Christiano][22:50]  Я думаю, что если всё полетит к чертям в 2025, то моё предсказание окажется неправильным, если под «всё полетит к чертям» ты имеешь в виду «сфера дайсона», а не «кажется, что происходят безумные вещи»

[Yudkowsky][22:50]  Кажется, что происходят безумные вещи в области ИИ, и мир закончится меньше чем через 4 года после этого, задолго до того, как удвоится экономика. Почему Пророчество ошибается, если мир начинает финальное падение в 2025? Пророчество требует, чтобы мир тогда продержался до 2029, удвоив свой экономический вывод, после чего ему разрешено закончиться. Мне не очевидно, почему Пророчеству запрещено начать сбываться в 2025 вместо 2055.

[Christiano][22:52]  Да, я просто имел в виду, что в таком случае были нарушены некоторые важные лежащие в основе пророчества предположения, я бы в таком случае уже не особо бы на него полагался.

[Yudkowsky][22:53]  Многие мои проблемы с пониманием твоей терминологии в том, что мне кажется, что события-предпосылки твоего Пророчества исполнимы кучей способов, которые не приводят к событиям-результатам.

[Christiano][22:53]  Если «кажется, что происходят безумные вещи» происходит за 4 года до сферы Дпйсона, то, думаю, нам надо быть поосторожнее с тем, что значит «безумные»

[Yudkowsky][22:54]  Много людей нервно оглядываются вокруг и спрашивают у себя, не был бы Элиезер прав, в то время как общественная pravda продолжает запрещать спрашивать что-то такое вслух, так что все эти люди приходят к выводу, что ошибаются.

[Christiano][22:55]  ОК, я под «кажется, что происходят безумные вещи» имею в виду что-то вроде миллиардов долларов, вкладываемых google в автоматизацию разработки ИИ

[Yudkowsky][22:55]  Я ожидаю, что бюрократические препятствия предотвратят большой рост ВВП в результате этого.

[Christiano][22:55]  Массовый рост производства полупроводников, бешено взвинчивающий цены на материалы для них

[Yudkowsky][22:55]  Я предполагаю, что такие затраты могли бы увеличить мировой ВВП на сотни миллиардов долларов в год. (мировой ВВП сейчас чуть меньше 100 триллионов долларов, так что сотни миллиардов – это не очень много – прим. пер.)

[Christiano][22:56]  Массовый рост оценок стоимости ИИ-компаний, переводящий значительную часть ВВП в разработку ИИ (+разработку «железа», +создание новых кластеров, +и т.д.)

[Yudkowsky][22:56]  Типа, больше чем Тесла? Больше, чем Биткойн? Обе этих штуки безусловно очень быстро взлетели по рыночной стомости, но не оказывая особого влияния на недвижимость и производство стали.

[Christiano][22:57]  Прямо сейчас, я думаю, на разработку «железа» уходит что-то порядка $100 млрд./год, на ИИ скорее что-то вроде $10 млрд./год, я думаю, я ставлю на что-то вроде триллионов? (с ограничением дальнейшего роста из-за проблем с счетами и недостаточным количеством умных денег) Не думаю, что к этому моменту вырастет и производство стали Правдоподобно, что упадёт, из-за перенаправления производственных возможностей на то, чтобы делать больше компьютеров. Но, наверное, просто остаётся статичным, пока все новые возможности уходят на компьютеры, потому что переделывать существующую инфраструктуру куда дороже. Изначальная мысль была: будет не внезапно выпрыгивающий AlphaZero, а конкуренция с индустрией, вкладывающей триллионы в накапливающуюся разработку и исследования

[Yudkowsky][23:00]  В надежде на будущие прибыли, или потому что они уже будут триллионные?

[Christiano][23:01]  В основном из надежды на будущие / реинвестиции выхлопа ИИ (той части, которая высоко оценивается рынком), но, наверное, триллионы дохода тоже уже будут?

[Yudkowsky][23:02]  Это всё уж точно звучит «чертовски невозможным» в моей модели, но я надеюсь, что мы сможем поспорить о чём-то более раннем, что твоё Пророчество запрещает до этого пре-предречённого дня?

[Christiano][23:02]  Для меня твоя модель выглядит просто сумасшедшей, ты говоришь, что она предсказывает безумные штуки в конце, но никаких безумных штук до этого, так что я не знаю, что запрещать. Я в основном делаю позитивные предсказания о постепенном нарастании ценности ИИ в многих разных индустриях И быстро растущие вложения в ИИ Предположу, что в твоей модели может быть: всё это происходит, а потом в один прекрасный день ИИ взрывается?

[Yudkowsky][23:03]  Основной способ, которым ты можешь получить быстро растущие вложения в ИИ – это если ИИ может выдать большую прибыль способом, не запрещённым бюрократически – вроде того, как мы получили огромные вложения в сжигание электричества и GPU для майнинга Биткойнов.

[Christiano][23:03]  Но, кажется, ты должен предсказывать, например, то, что ИИ быстро скакнёт до сверхчеловеческого уровня в множестве областей, и некоторые применения скакнут от никакой сразу до большой ценности. Я не понимаю, что ты имеешь в виду. Ты думаешь, что прямо сейчас мы не наблюдаем быстрого роста вложений в ИИ? Или ты говоришь о росте вложений сверх некоего порога, или о значительно более быстром росте, чем нынешний? Мне кажется, что можно плавно перейти к нескольким сотням миллиардов долларов в год, просто перенаправив существующие технологии исследований и разработки

[Yudkowsky][23:05]  Я могу представить сценарии, в которых какая-то версия GPT-5, клонированная за пределами OpenAI способна уговорить сотни миллионов внушаемых людей отдать большую часть их дохода, и многие режимы регуляции не способны эффективно это запретить. Тогда ИИ будет приносить триллионы, и люди будут вкладывать соответствующие суммы в создание новых аниме-вайфу, обученных эротическому гипнозу и финансовому доминированию. Это, для ясности, не моё предсказание основного сценария. Но у меня есть ощущение, что наша нынешняя экономика в основном не про однодневный период разработки новых вакцин, а про нескольколетний период получения разрешения их продавать. Исключения к этому, вроде Биткоина, у которого получилось довольно долго говорить регуляторам «пошли прочь», приводят к быстрому масштабированию до триллиона долларов и сжиганию огромного количества электричества и GPU. Так что мы можем представить что-то в этом духе с ИИ, зарабатывающее триллион долларов и разжигающее конкуренцию соответствующего масштаба. Но мне кажется, что твоя модель работает не так. Мне кажется, что твоя модель говорит про общие улучшения по всей экономике.

[Christiano][23:08]  Я думаю, что биткоин мал даже в сравнении с нынешними ИИ…

[Yudkowsky][23:08]  У меня есть ощущение, что мы уже построили экономику, отвергающую улучшения, основанные на небольшом количестве ума, и вознаграждающее только достаточно умные, чтобы обойти бюрократические структуры. Недостаточно придумать версию электронного золота на 10% лучше, надо придумать Биткоин. Что ты собираешься создавать? Самолёты получше? Стоимость самолётов в основном берётся из регуляции. Медицинские технологии получше? В основном, стоимость регуляции. Дома получше? Строить дома всё равно нелегально. Где пространство для общей ИИ-революции до того, как ИИ буквально достаточно революционен, чтобы свергнуть государство?

[Christiano][23:10]  Фабрики, солнечные панели, роботы, полупроводники, шахтёрское оборудование, линии электропередач, и «фабрики» — это просто одно слово для тысячи разных штук Я думаю, осмысленно считать, что некоторые юрисдикции не будут позволять создавать штуки, но это довольно невозможно для всего мира. Это возможный источник краткосрочных предсказаний? Ещё компьютеры и сотня других штук для датацентров

[Yudkowsky][23:12]  Весь развитый мир отвергает открытые границы. Режимы регулирования все совершают одни и те же ошибки с практически идеальной точностью, с координацией, о которой люди и мечтать не могут, когда пытаются скоординироваться специально. Если мир продержится до 2035, то я, наверное, ожидаю, что глубинные сети станут настолько же вездесущи, как были компьютеры в… 1995? 2005? Исполнит это условия Пророчества? Не думаю; кажется, твоё Пророчество требует, чтобы ранняя технология СИИ была настолько вездесуща, что в неё будут вкладывать триллионы.

[Christiano][23:13]  Что есть технология СИИ? Суть в том, что не будет важных движителей, которые можно будет легко сильно улучшить

[Yudkowsky][23:14]  В контексте Пророчества, технология СИИ – это такая, которая при достаточном масштабировании устроит конец света; в неё до этого должны быть вложены триллионы долларов, так что её траектория не будет выглядеть как выскакивание AlphaGo. Верно?

[Christiano][23:14]  Это относится к делу, если ты представляешь технологию, помогающую в обобщённом решении задач или чём-то таком, но каким-то образом не помогающую в штуках, которые люди делают с машинным обучением. Мне это кажется маловероятным, потому что это одно и то же. Конечно, технология СИИ должна как минимум включать использование ИИ для автоматизации исследований и разработок ИИ Независимо от того, что ты произвольно обзываешь «устраивающей конец света при достаточном масштабировании»

[Yudkowsky][23:15]  Только если она на пути, ведущем в уничтожению мира? Если нет, то, в контексте Пророчества, какая разница?

[Christiano][23:15]  Я ещё хотел подчеркнуть, что «выскакивание Alpha Go» – это то, что происходит при переходе от того, что уровень развития задаётся отдельными программистами к тому, что он задаётся большими лабораториями, не нужно вкладывать триллионы, чтобы этого избежать И этот скачок всё же на что-то типа пары лет Но пророчество включает в себя триллионы, и мои взгляды становятся больше похожими на твои, если люди перескочат от вложений в исследования и разработку $100 млрд. к $1 трлн. за год.

5.8. TPU и GPU и автоматизация исследований и разработки ИИ

[Yudkowsky][23:17]  Мне несколько интересно, почему так важны «триллионы». Мне кажется, что условия твоего Пророчества могут быть исполнены СИИ-технологией, вездесущей всего лишь на уровне современных компьютеров, где много конкурирующих компаний вкладывают всего лишь сотни миллиардов в фабрики «железа». Логично, что сложно получить чип с на 50% лучшими транзисторами, чем есть у TSMC.

[Christiano][23:17]  Да, если вкладываются сотни миллиардов, то вырваться вперёд сложно (хотя всё же возможно). (тут куда большее преимущество; никто особо не парится, чтобы обогнать TSMC, потому что выгода от этого на их масштабах крохотная)

[Yudkowsky][23:18]  Что, как бы, не помешало Google выкатить TPUs, которые значительно превосходят GPU, и если есть какое-то специализированное особенно ключевое приложение СИИ-подобной технологии, то может получиться, что всё вело себя плавно, а в итоге всё равно получился скачок.

[Christiano][23:18]  Думаю, что TPU – по сути, то же самое, что GPU. Наверное, немного хуже (но GPU продаются с десятикратной наценкой из-за масштаба лидерства Nvidia)

[Yudkowsky][23:19]  Отмечено; я не настолько разбираюсь, чтобы с этим спорить.

[Christiano][23:19]  (хотя вроде TPU всё равно стоят немного больше, чем GPU)

[Yudkowsky][23:19]  Как Nvidia сохраняет это лидерство и десятикратную наценку? Это звучит как положение вещей не-по-Полу, с учётом цены Биткоина, не говоря уж о вложениях в ИИ.

[Christiano][23:20]  Лидерство Nvidia не стоит так уж многого, потому что они не продали так уж много GPU. (особенно для неигровых применений) Их вложения в исследования и разработку велики, сравнительно с вообще вертящимися там деньгами Предполагаю, что их лидерство не продлится долго, о чём свидетельствует, например, то, что Google очень быстро догоняет

[Yudkowsky][23:21]  Это значит – и я не обязательно предсказываю иначе – что ты предсказываешь падение акций Nvidia’s и цен на GPU в следующую пару лет?

[Christiano][23:21]  С акциями может быть всё ОК из-за общего бума ИИ, но я предсказываю относительное падение в сравнении с другими связанными с ИИ компаниями (хотя я также предсказывал, что google будет более агрессивно конкурировать с nvidia за рынок машинного обучения, и, думаю, был неправ, хотя я не знаю подробностей в этой области) Я ожидаю, что в ближайшие годы упадёт стоимость вычислений, пока наценка Nvidia будет уменьшаться Частично это будет компенсироваться ростом стоимости кремния (но это всё равно плохие новости для Nvidia)

[Yudkowsky][23:23]  Я ещё замечу, что мне кажется, Мудрому Читателю следует быть впечатлённым сбывшимися предсказаниями об относительных изменениях цен акций, даже если Элиезер им явно не противоречит. Это пари, которое ты можешь выиграть без того, чтобы я его с тобой заключал.

[Christiano][23:23]  Можешь ответить своим контрпредсказанием, но не говори потом, что реальность показала, что ты был прав, если не ответишь 🙂 Иначе это просто я против рынка

[Yudkowsky][23:24]  Не думаю, что у меня есть контрпредсказание, но думаю, что Мудрый Читатель должен впечатлиться, если ты выиграешь против рынка. Однако, это потребует от тебя назвать заранее несколько «других связанных с ИИ компаний»

[Christiano][23:25]  Замечу, что я уже заключал это пари в прошлом году – сделал большую ставку по поводу ИИ, но в основном перевёл средства с nvidia на полупроводниковые компании. Полупроводниковая часть портфолио выросла на 50%, а nvidia – на 70%, так что ту я проиграл. Но это значит, что такая ставка мне ещё больше нравится в следующем году. Буду рад использовать nvidia против TSMC

[Yudkowsky][23:25]  В предсказании про две цены много шума.

[Christiano][23:25]  Ну, это предсказание про одну, про nvidia

[Yudkowsky][23:26]  Пан или пропал!

[Christiano][23:26]  И правда 🙂 В любом случае Я ожидаю, что суммы в долларах в будущем будут куда больше

[Yudkowsky][23:26]  Ага, но использование для сравнения только TSMC делает тебя уязвимым к, ну например, китайскому вторжению на Тайвань.

[Christiano][23:26]  да ещё TSMC не так уж связаны с ИИ Я думаю, основное предсказание такое: отход от использования GPU, nvidia не сможет удержать свою наценку

[Yudkowsky][23:27]  «Nvidia не сможет удержать свою наценку» звучит проверяемо, но в меньшей степени будет победой против рынка, чем предсказание относительного сдвига цен акций. (За какое время? Просто следующий год звучит слишком быстро для такого предсказания)

[Christiano][23:27]  Про твоё изначальное заявление: если по-твоему правдоподобно, что все исследования и разработки ИИ будет делать ИИ, и это будет непрерывно ускоряться с 12, 6, 3 месяцами «времени удвоения», но что на «пути к погибели» мы увидим не-непрерывное изменение, то про это сложнее предсказывать Да, сложно переводить предсказания про мир в предсказания про рынок акций

[Yudkowsky][23:28]  Это опять звучит не на языке-Элиезера Что значит «все исследования и разработки ИИ будет делать ИИ»? Для меня это звучит как что-то, происходящее после конца света, то есть не происходящее.

[Christiano][23:29]  Хорошо, так я и думал

[Yudkowsky][23:29]  Я не хочу звучать очень определённо по этому поводу до того, как пойму, что это значит

[Christiano][23:29]  Я думаю, что ИИ будет автоматизировать исследования и разработку ИИ постепенно, перед концом света Да, я соглашусь, что если ты отрицаешь конструкт «насколько быстро ИИ-сообщество двигает прогресс», то сложно говорить о том, что значит этот «прогресс» автоматизировать Тогда сложно рассуждать дальше Впрочем, в случаях вроде AlphaGo (с которого началась эта тема) кажется довольно просто говорить о пунктах ELO за год Может, сложности в объединении метрик разных задач в одну действительно важную?

[Yudkowsky][23:30]  В целом да, хотя не только. (например, если мы берём ELO намного выше человеческого уровня и ограничиваем свои измерения очень маленьким диапазоном передовых ИИ, то интересно, измеряем ли всё ту же штуку с всё той же устойчивостью.)

[Christiano][23:31]  Я согласен, что измерение ELO крайне проблематично в таких условиях

 5.9. Плавные экспоненты и скачки доходов

[Yudkowsky][23:31]  Так твои взгляды особо заостряют внимание на штуках, которые должны быть развёрнуты и широко применимы, чтобы иметь огромное влияние А в моей картине мира нет ничего особо удивительного в людях с странным мощным прототипом, который не был использован для автоматизации больших частей процессов исследований и разработки, потому что его предыдущая версия не была полезна, или потому, что большие корпорации не перешли к её применению.

[Christiano][23:32]  Ну смотри, Google – уже 1% экономики США, а в этом сценарии он и схожие компании будут иметь что-то вроде 10-20%? Так что широкое применение не обязательно означает так уж много людей. Хотя я действительно предсказываю куда более широкое применение, чем ты, так что можно использовать это для предсказаний. Я не особо убеждён «странным мощным прототипом»

[Yudkowsky][23:33]  Да. Я заметил. Ты, кажется, готов о многом поспорить и в краткосрочной перспективе.

[Christiano][23:33]  И мне кажется, что у штуки, про которую ты говоришь, должны быть какие-нибудь прецеденты странных мощных прототипов, быстро скакнувших от «не делают ничего» к «делают что-то влиятельное» Если я предсказываю, что ИИ будет полезен в куче областей и доберётся до этого маленькими шагами, то тебе следует либо предсказывать, что этого не произойдёт, либо предсказывать ещё, что будут некоторые области с странными прототипами, сразу перескакивающими к гигантскому влиянию?

[Yudkowsky][23:34]  Вроде электроприбора, который переходит от «совсем не работает» к «вполне работает», как только ты подсоединил вилку.

[Christiano][23:34]  (явно надо больше поработать над конкретизацией) Я не уверен, что понял последнее предложение, надеюсь, достаточно ясно, почему я ожидаю от тебя таких предсказаний?

[Yudkowsky][23:34]  Хотя нет, это была поспешная плохая аналогия. Лучшей аналогией была бы ИИ-система, которая начинает работать только после того, как кто-то рассказал тебе о пакетной нормализации или о скорости обучения LAMB, или ещё чём-то таком.

[Christiano][23:36]  Конечно, я думаю, это всё время происходит с отдельными ИИ-проектами, но не с передним краем прогресса Там проекты уже сорвали все низковисящие плоды, так что там не просто получить сразу много

[Yudkowsky][23:36]  Если я предсказываю, что ИИ будет полезен в куче областей и доберётся до этого маленькими шагами, то тебе следует либо предсказывать, что этого не произойдёт, либо предсказывать ещё, что будут некоторые области с странными прототипами, сразу перескакивающими к гигантскому влиянию? В последнем случае, сбылось ли уже Пророчество-Элиезера из-за AlphaFold 2, или ты скажешь, что нет, потому что AlphaFold 2 не удвоил ВВП?

[Christiano][23:37]  (можно получить сразу много, когда возникает новый конкурент с прогрессом побыстрее. Тогда важно, делают ли это когда это большой прыжок вперёд, или будучи чуть хуже предшественника, и я ставлю на второе) Я понятия не имею, для чего хорош AlphaFold 2, и сколько народу над ним работает, предполагаю, что его ценность довольно мала Можно попробовать оценить количественно Вроде, я буду удивлён, когда $X, потраченные на исследования и разработку, принесут что-то, ценностью намного больше $X Я буду совсем не удивлён, если $X на исследования и разработку принесут <<$X, или даже 10*$X в конкретном случае, выбранном за то, что он хорошо работает Надеюсь, ясно, почему именно что-то такое наивно предсказывается навскидку

[Yudkowsky][23:38]  Итак, штука, которую Пророчество Элиезера само по себе не предписывает, но точно дозволяет, и которая встречается в основном сценарии, особенно при меньших сроках – это что устраивающий конец света прототип не следует за предыдущим прототипом, содержавшим 90% его технологии и заработавшим триллион долларов. Многое из Пророчества Пола кажется запрещающим это. Правильное ли это описание твоего Пророчества?

[Christiano][23:39]  У меня нет особого мнения про «содержание 90% технологии» Моё главное мнение – что что бы ни делал «устраивающий конец света прототип», были более ранние системы, которые могли делать почти то же самое Если устраивающий конец света прототип делал что-то, позволяющее вжухнуть за день, то за годы до этого была система, которая могла вжухнуть за месяц, так что вжухнула она

[Yudkowsky][23:41]  Но ведь устраивающая конец света штука, согласно Пророчеству, должна быть прямо посередине класса технологий, которые зарабатывают триллионы долларов и в которые вкладывают триллионы долларов. Ей недостаточно просто подходить под определение этого класса, потому что тогда она могла бы быть странным выбросом, и кто-то мог бы вложить миллиард долларов в этот странный выброс до того, как кто-то другой вложил сотню миллионов, что запрещено Пророчеством. Так что она должна быть прямо по центру, явный и очевидный пример технологий, уже зарабатывающих триллионы… да/нет?

[Christiano][23:42]  Это предсказание вносит некоторую конкретизацию «явным и очевидным примером», но я думаю, что это можно ещё уточнить / мне не кажется, что это зависит от столь расплывчатой штуки Я думаю, что если мир может закончиться вот так из ниоткуда, то также из ниоткуда должны возникать продукты на $100 млрд./год, но, наверное, ты так не считаешь из-за бюрократии Вроде, мне вот кажется, что наши взгляды должны разделять ожидания от Codex, я предскажу, что его ценность будет скромной по сравнению с затратами на исследования и разработку, а потом будет расти красивой кривой, может достаточно быстро дойдёт до чего-то вроде $10 млн./год, а потом каждый год удваиваться, а ты, мне кажется, скажешь что-то вроде «кто знает, может быть что угодно», и потому должен быть удивлён каждый раз, когда происходит скучный вариант

[Yudkowsky][23:45]  Мой конкретный пример: что Компания Конца Света будет способна использовать ту же технологию для создания беспилотного автомобиля, который по естественному течению событий был бы одобрен к продаже на несколько лет позже конца света.

[Christiano][23:46]  Беспилотные автомобили, думаю, уже будут широко развёрнуты, так что относящийся к делу вопрос, скорее, смогут ли они развернуть на них свои технические улучшения? (или может быть это ещё одно предсказание, в котором мы расходимся)

[Yudkowsky][23:47]  Я чувствую, что не имел бы на самом деле права очень удивляться, ни если технология Codex будет стагнировать следующие пять лет, ни если она совершит большой скачок за два года и станет повсеместно применяться многими программистами. По беспилотным автомобилям, да, я думаю, тут у нас есть расхождение оценок сроков Меня, может быть, можно уговорить на пари, где ты заявляешь «Технология Codex будет развиваться так», а я приму сторону «буквально что угодно, кроме этого»

[Christiano][23:48]  Думаю, это не будет сбалансировано, сомневаюсь, что я был бы больше тебя удивлён тем, что что-то не смогло стать экономически ценным, вот большими скачками ценности был бы Кажется, это будет сложно

[Yudkowsky][23:49]  Ну, если бы я заключал пари о том, что у чего-то сильно скакнёт прибыль, то я бы точно спорил бы о чём-то в относительно нерегулируемой индустрии, вроде Codex или аниме-вайфу. Но это предполагая, что я вообще буду спорить, что совсем не точно, когда спор о Будущем, печально известном как тяжёлое для предсказывания.

[Christiano][23:50]  Пожалуй, моё сильное заявление такое: если ты хочешь потом сказать, что будущее развитие доказало, что ты прав, а неразумных людей вроде меня застало врасплох, то тебе надо суметь сказать что-то о своих ожиданиях заранее

[Yudkowsky][23:51]  Что если мы оба не удивлены, если Codex стагнирует пять лет, ты выигрываешь, если Codex покажет гладкую экспоненту дохода, а я выигрываю, если исход выглядит… прыгучее? Как мы это измерим?

[Christiano][23:52]  Codex кажется несколько нечестным в отношении тебя, потому что его должны начать применять много программистов, что затормозит события даже если способности скакнут (впрочем, я думаю, что на самом деле полезность, а не только выгода будет расти плавно, с размерами шагов определёнными произвольными решениями, когда что-то выпустить)

[Yudkowsky][23:53]  Ещё меня беспокоит несбалансированность из-за того, что заработок – не то же самое, что общая выгода от торговли. Если в индустрии больше одного конкурента, то прибыль от Codex может быть куда меньше, чем его ценность, и это может не меняться сильно с улучшениями технологии.

 5.10. Предсказания позднего этапа

[Christiano][23:53]  Я думаю, моё основное обновление от этого обсуждения – что ты на самом деле не предсказываешь, что кто-то появится из ниоткуда с моделью, которая сможет много заработать, хоть и может появиться из ниоткуда с моделью, которая может устроить конец света, из-за бутылочного горлышка регуляции, нимбиизма и общей медлительности и нежелания что-то делать Выглядит правильно?

[Yudkowsky][23:55]  Ну, и ещё потому, что это будет «первая штука, масштабирующаяся с вычислительной мощностью» и/или «первая штука, обладающая настоящим ядром обобщённости» и/или «первая штука с фактором умножения нейтронов больше 1».

[Christiano][23:55]  И это отбрасывает множество легко конкретизируемых эмпирических расхождений, потому что «стоит много денег» – это общий способ оценить «большое дело, волнующее людей» и избежать споров вроде «но Zen был в основном разработан одним программистом, это не похоже на сильную конкуренцию» Да, вот настоящее несогласие, о котором стоит поговорить Но кажется, что оно не ведёт к многим расхождениям предсказаний заранее Я совершенно не принимаю эту модель, мне она кажется чокнутой С удовольствием поспорю об этом

[Yudkowsky][23:56]  Наверное, но я думаю, что странный-с-моей-точки-зрения разговор про ВВП всё же вероятно содержит какой-то важный корень разногласия, потому что беспокойство о ВВП всё ещё кажется мне очень чужеродным.

[Christiano][23:56]  Мне кажется, что получение большого экономического влияния без «настоящего ядра обобщённости» должно быть удивительным с твоей точки зрения Вроде, если пройдёт 10 лет, ИИ – довольно важная штука, но нет безумного СИИ, не удивительно ли это?

[Yudkowsky][23:57]  Умеренно, но не слишком. Я могу представить, что люди создадут кучу классных штук с помощью градиентного спуска в областях, где можно много играть с самим собой или собирать огромные объёмы данных

[Christiano][23:58]  Это нормально, если корень разногласия – что-то, что не приводит к эмпирическим расхождениям, но в этом случае я не думаю, что тебе следует заявлять, что твой взгляд приводит к лучшим предсказаниям. (или что противоречащий – к плохим)

[Yudkowsky][23:59]  Что мы можем увидеть: беспилотные автомобили (10 лет – достаточно для получения разрешения в многих странах), супер Codex, всё более громкая (спорно оправданная) моральная паника из-за основанных на GPT-6 аниме-вайфу и индустрия на сотни миллиардов долларов.

[Christiano][23:59]  Другая опция — «10% роста ВВП GWP за год, до погибели » Я думаю, что это очень вероятно, хотя может быть слишком поздно, чтобы принести пользу

[Yudkowsky][0:01]  (next day, Sep. 15)  Вижу, это кажется весьма сложным, если только кто-нибудь не получит GPT-4 задолго до всей политической оппозиции – я полагаю, все компетентные связанные с ИИ группы сейчас твёрдо либеральные? – и наводнит Twitter фейковыми сильно убедительными аргументами за либерализацию жилищного строительства.

[Christiano][0:01]  (next day, Sep. 15)  Выглядит как пари? Но ты не сможешь выиграть до погибели 🙁

[Yudkowsky][0:02]  (next day, Sep. 15)  Надо ещё подумать, я бы хотел избежать случаев вроде роста на 10% на бумаге из-за восстановления от пандемии, вызвавшей нулевой рост в предыдущем году.

[Christiano][0:02]  (next day, Sep. 15)  Ага

[Yudkowsky][0:04]  (next day, Sep. 15)  Я бы хотел проверить текущий рост (5% емнип) и его разброс, 10% – маловато для уверенности (хотя мне кажется, что это весьма гладкий график, который сложно сбить) Если мы получим 10% способом, который явно связан с ИИ-технологией, становящейся повсеместной, то я вполне рад буду покивать и сказать «Да, этот похоже на начало Пророчества Пола», в некоторой степени потому, что сроки оказались достаточно долгими.

[Christiano][0:05]  (next day, Sep. 15)  Вроде 3-4%/год сейчас Число из Википедии 5.5% в 2006-2007, 3-4% с 2010 4% 1995-2000

[Yudkowsky][0:06]  (next day, Sep. 15)  Не хочу тут звучать слишком упрямым. Моя модель не запрещает того, что мы некоторое время будем слоняться вокруг СИИ, и технология градиентного спуска успеет запустить пальцы в достаточно отдельных слабо-обобщающихся находок, чтобы выдать 10% роста ВВП, но вполне соглашусь, что это куда больше похоже на сбывание Пророчества Пола.

[Christiano][0:07]  (next day, Sep. 15)  Ок, нам это нужно как-то формализовать, причём так, чтобы ты мог получить причитающееся уважение несмотря на то, что оно не может разрешиться в твою пользу до последних времён

[Yudkowsky][0:07]  (next day, Sep. 15)  Кажется ли тебе что-то, что можно наблюдать до конца света, похожим на Пророчество Элиезера?

[Christiano][0:07]  (next day, Sep. 15)  А тогда ты уже получишь всё нужное эпистемологическое уважение Штуки про «просто ядро обобщённости» не подойдут, потому что они явно подразумевают немедленный конец света Может, что-то про препятствия, встреченные машинным обучением на пути к человеческому уровню? Или какой-то ещё не-непрерывный скачок в области, важной для людей, хотя, кажется, ты мало их ожидаешь

[Yudkowsky][0:08]  (next day, Sep. 15)  Зависит от того, как ты определяешь «немедленный»? Это незадолго до конца света, но в некоторых печальных сценариях есть некоторая полезность объявления за 6 месяцев до конца.

[Christiano][0:09]  (next day, Sep. 15)  Я лично сильно забочусь о 6 месяцах Хоть я и думаю, что к тому моменту всё станет более ясно независимо от любого пари; но ты, наверное, настроен более пессимистично

[Yudkowsky][0:09]  (next day, Sep. 15)  Я не вполне уверен, что бы я сделал за эти 6 месяцев, но может быть, я к тому моменту что-нибудь придумаю, так что я забочусь заранее, не о чём-то конкретном Я более пессимистичен о способности других людей заметить, что реальность орёт им в лица, да

[Christiano][0:10]  (next day, Sep. 15)  Если мы посмотрим на разные кривые масштабирования, например, функции потерь от размера модели, или что-то такое, ты ожидаешь, что они изменят свой вид при достижении «настоящего ядра обобщённости»?

[Yudkowsky][0:10]  (next day, Sep. 15)  Позволь развернуть вопрос: если мы добавим трансформеры на эти графики, будут ли там скачки, которые ты сочтёшь интересными?

[Christiano][0:11]  (next day, Sep. 15)  Пожалуй, нет

[Yudkowsky][0:11]  (next day, Sep. 15)  Потому что на эмпирических графиках нет скачков, или потому, что ты не считаешь, что они о многом говорят?

[Christiano][0:11]  (next day, Sep. 15)  Хороших графиков не так много (у меня на уме всего один), так что это частично предсказание о итогах эксперимента Я не думаю, что графики сильно скачут, а ещё трансформеры возникли до того, как люди стали ставить оценки задачам, где они сильно помогают

[Yudkowsky][0:12]  (next day, Sep. 15)  Моему Пророчеству не слишком будет противоречить, если технология Конца Света начнётся не с большого прыжка на существующих задачах, а с обобщения на некоторые не очень популярные задачи, где она будет куда быстрее масштабироваться.

[Christiano][0:13]  (next day, Sep. 15)  Трансформеры значительно помогают на современных задачах, но они всё же не представляют из себя большой прыжок относительно продолжающегося масштабирования размера моделей Или других происходящих улучшений архитектуры В любом случае, нам стоит потом попробовать что-то сообразить о пари таким образом, чтобы ты имел возможность одержать верх, но сейчас мне надо спать

[Yudkowsky][0:14]  (next day, Sep. 15)  Ага, тоже. Хотел бы вслух отметить, порка не забыл: я думаю, что реальный мир наполнен тоннами и тоннами технологий, разработанных как беспрецедентные прототипы посреди большой области, потому что ключевая для вложений штука была не в конкурентно исследованном центре. Флайер братьев Райт и все затраты на разработку Машин для Путешествий. Первый атомный реактор/бомба и все военные разработки. Это причина, по которой Пророчество Пола кажется мне хрупким. Предварительные условия могут исполнится, пока триллион будет вложен в что-то напоминающее разработку ИИ, а потом конец света вызовет странный прототип откуда-то со стороны. Говорить «Но что же остальные разработки» не более полезно, чем посмотреть на AlphaGo и сказать «Но разве другие компании не вкладывали миллиарды в Лучший Софт?» Да, но это большое игровое поле с кучей разного Лучшего Софта, и никакая команда в 15 человек с корпоративным TPU не пыталась создать систему в точности такую же как AlphaGo, хоть многие мелкие группы и пытались сделать престижного мощного игрока. Продвижения технологий очень-очень часто происходят там, где вложения были недостаточно плотными, чтобы гарантировать полное покрытие.

 6. Последующие замечания по «Скоростям Взлёта»

6.1. Комментарии Элиезера Юдковского

[Yudkowsky][17:25]  (Sep. 15)  Что мне ещё пришло в голову по поводу «Скоростей Взлёта», если я теперь лучше понимаю основной тезис: гипотезы там, кажется, подразумевают идеально анти-Тилевское положение вещей в области СИИ. Тиль много где утверждает, что часть объяснения Великой Стагнации и упадка инноваций, касающихся атомов, а не битов – объяснение, почему «нам были обещаны летающие машины, а получили мы 140 символов», если процитировать его классическую цитаты – в том, что люди перестали верить в «секреты». Тиль предполагает, что необходимо верить, что есть познаваемые, но ещё не широко известные вещи – не просто то, что уже все знают, плюс тайны, которые никто никогда не узнает – чтобы быть мотивированным на инновации. Культура в развитых странах сдвинулась к тому, чтобы считать такой настрой грубым – или, скорее, ещё более грубым, менее допустимым, чем десятилетия назад – поэтому инноваций стало меньше. Центральная гипотеза «Скоростей Взлёта» в том, что в момент, когда будет разработан серьёзный СИИ, область будет идеально анти-Тилевской, то есть лишённой секретов в этом смысле. Недопустимо (с этой позиции), чтобы много вложений в ИИ были направлены не совсем по ключевому пути в СИИ, так что кто-то сможет потратить на этот ключевой путь миллиард до того, как кто-то другой потратит сто миллионов. Таких секретов не может быть. Путь к СИИ будет известен; все, или большой набор важных действующих лиц, будут знать, насколько этот путь будет прибыльным; окружающая индустрия будет способна действовать исходя из этого знания; много кто уже вложится в любой технологический путь, который на самом деле будет выгодным (и известен хоть кому-то), как только появится такая возможность. И я не говорю, что такой мир внутренне противоречив! Я писал научную фантастику, происходящую в этом мире. Я назвал его «дат илан». Это гипотетический мир, который на самом деле полон умных людей в экономическом равновесии. Например, если появляется что-то вроде Covid-19, то государства и филантропы уже запустили по его поводу рынки предсказаний (которые, само собой, легальны); и, конечно, фабрики mRNA вакцин уже созданы и готовы к запуску, потому что кто-то уже вычислил, что прибыли от быстро созданных вакцин в случае пандемии будут очень высоки (искусственных ограничений цены в этом мире, конечно, нет); так что как только рынки предсказаний начали называть предстоящее пандемией при условии отсутствия вакцины, эти фабрики уже начали раскручиваться. Однако, этот мир – не Земля. На Земле большие куски технологического прогресса довольно часто происходят вовне социального контекста, в котором все знают и заранее согласились, какие проекты принесут сколько ожидаемой выгоды, и одновременно стали конкурентно вкладываться в действительно-многообещающие направления. И поэтому можно прочитать Неадекватные Равновесия, а потом прочитать это эссе и сказать «О, да, я узнаю это; это написано из позиции Скромности; конкретно, из представления адекватного мира с полным отсутствием Тилевских секретов или необщей информации о перспективных направлениях развития Это тот же мир, который уже подготовил производство mRNA вакцин на первый день пандемии, потому что рынок правильно предсказал их ценность и инвесторы действовали согласно этому прогнозу. Конечно, интересно было бы в нём жить! Но мы в нём не живём.» Можем ли мы всё же оказаться в мире, где путь к СИИ – не Тилевский секрет, и оказался на направлении, уже приносящем большую выгоду инвесторам, скапливавшим маленькие инновации, а ля происходящее с производством чипов, так что не будет никаких больших инноваций, только очень много маленьких, выдающих улучшение на 10% в год разных технологических метрик? Я думаю, что даже в этом случае мы получим странные, скачкообразное и фатальное поведение, и может быть поговорю об этом, когда дискуссия продолжится. Но я не отвергаю возможность, что первый доступный путь к СИИ окажется продолжением уже хорошо протоптанной дороги, уже принёсшей много выгоды ныне знаменитым фирмам, когда первые шаги по ней были Тилевскими секретами, а теперь наполненной десятками конкурирующих золотоискателей. Я даже могу представить, хотя это и труднее, что первый по-настоящему поворотный/мощный/летальный СИИ окажется ровнёхонько посредине этого золотого пути. Это не особо похоже на известную мне историю технологий, в которой обычно кому-то надо было свернуть, а популярные прогнозы были не вполне правы, но, может, быть, это результат избирательного фокуса истории на самых интересных случаях. Но я отмечу – даже предположив, что получение большого СИИ и впрямь настолько же прямолинейно, хоть и сложно, как продвижение планового прогресса производства полупроводников (иначе крупнейшее действующее лицо из изначально увидевших очевидное направление сможет сразу пройти всю дорогу) – что ж, TSMC прямо сейчас имеет некоторое неразделённое преимущество, если я правильно помню. А до этого его имел Intel. Так что это происходит, даже когда конкуренты вкладывают миллиарды. Но можно представить, что это будет и не так, потому что вместо необходимости создать целый огромный завод, тут есть лишь много-много маленьких инноваций, складывающихся в преодоление каждого ключевого порога к СИИ, и много кто вкладывается в них по $10 млн. за раз, и все знают, куда двигаться, чтобы получить серьёзный СИИ, и они все правы. Я не против обсудить этот мир и последствия таких условий – я думаю, что все всё ещё умирают в этом случае – но я бы не держал эти конкретные условия за состояние по умолчанию, несмотря на неявное давление против нескромности и неэгалитарности предположений о существовании Тилевских познаваемых секретов или того, что кто-то в будущем настолько же опередит остальных, как TSMC или Deepmind сегодня. Представляя этот мир, мы представляем разработку ИИ очень непохожую на современную, происходящую совсем не так, как многие другие исторические технологии. Это не буквально беспрецедентно, но это и не вариант по умолчанию для больших вех технического прогресса; это в узком виде бывает в конкретных индустриях с высокой конкуренцией и устойчивым прогрессом, вызванным огромными вложениями и многими крохотными инновациями. Так что можно попредставлять такой сценарий. Но если ты хочешь заявить, что социальная ситуация вокруг СИИ обязательно радикально изменится в такую сторону – не просто, что она может измениться, если кто-то создаст большую суматоху, которая заставит всех остальных переоценить своё предыдущее мнение и перейти к твоему, но что это социальное изменение обязательно произойдёт, и ты знаешь это сейчас – и что технологический путь к СИИ тебе известен, и вложения в него будут выглядеть как в индустрии полупроводников – то тебе стоит пообъяснять «Что ты думаешь, ты знаешь, и откуда ты думаешь, что ты это знаешь?». Конечно, я признаю, что такое может быть познаваемым, но не известным мне. Я недостаточно глуп, чтобы отрицать такие секреты. В настоящей истории технологического прогресса на нашей настоящей Земле они повсюду.