Скорости Взлёта

Перевод текста Пола Кристиано 2018 года о том, почему он считает «медленный взлёт» более вероятным, чем «быстрый». (Оригинал)

***

Футуристы годами спорят о том, будет ли разработка СИИ выглядеть более похоже на прорыв, совершённый малой группой («быстрый взлёт»), или на непрерывное ускорение, распределённое по экономике в целом или большой компании («медленный взлёт»).

Сейчас я думаю, что медленный взлёт значительно вероятнее. Этот пост объясняет, как я рассуждаю и почему я считаю, что это важно. В основном пост перечисляет аргументы за быстрый взлёт, которые я часто слышал, и объясняет, почему я не нахожу их убедительными.

(Замечу: это не пост о том, произойдёт ли интеллектуальный взрыв. Это мне кажется очень вероятным. Мои количественные ожидание примерно такие. Так что, например, хоть я и не согласен с многими заявлениями и предположениями из Микроэкономики Интеллектуального Взрыва, я не спорю с центральным тезисом и большей частью аргументов.)

(См. Также: Влияние ИИ на ту же тему.)

Медленный взлёт

Медленный взлёт означает более быстрый прогресс

Быстрый взлёт часто обосновывают, указывая на невероятный преобразующий потенциал интеллекта; перечисляя много способов, которыми ИИ-системы превзойдут людей; указывая на исторические примеры быстрых изменений; и т.д.

Это производит впечатление, что люди, ожидающие медленного взлёта, думают, что ИИ будет иметь меньшее влияние, или что преобразование общества займёт больше времени.

Но я считаю, что всё наоборот. Главное несогласие не в том, что произойдёт, когда у нас будет суперинтеллектуальный ИИ, оно в том, что произойдёт перед этим. Медленный взлёт означает, что ИИ будет сильнее влиять на мир раньше.

В сценарии быстрого взлёта слабые ИИ-системы могут оказывать значительное, но совершенно несравнимое с «настоящим» СИИ, влияние,. Создавший СИИ имеет решающее стратегическое преимущество. Рост ускоряется с 3%/год до 3000%/год, не останавливаясь на 30%/год. И так далее.

В сценарии медленного взлёта пре-СИИ имеют преобразующее влияние, лишь немного слабее, чем СИИ. СИИ появляется в мире, где всё уже происходит непостижимо быстро и много кто уже невероятно могущественен. Опережение всех на 12 месяцев в СИИ может дать тебе решающее стратегическое преимущество, но мир уже ускорился настолько, что это так же сложно, как получить самолёты на 30 лет раньше всех остальных.

Конкретизация медленного взлёта

Перед первым годовым интервалом, в который удвоится мировое производство, будет полный четырёхгодичный. (Аналогично, мы увидим 8-годичное удвоение до двухлетнего, и т.д.)

В некоторый момент возникнут немыслимо мощные ИИ-системы. Это будет иметь множество последствий, но одно простое последствие – что мировое производство будет расти намного быстрее. Я думаю, что это хороший измерительный прибор для прочих преобразующих эффектов, включая большие военные преимущества.

Я убеждён, что до того, как мы получим немыслимо мощный ИИ, у нас будет ИИ всего лишь очень мощный. Недостаточно, чтобы привести к 100% росту ВВП, но достаточным, для (скажем) 50% роста. Я думаю, что промежуток между этими событиями будет скорее годами, а не месяцами или десятилетиями.

В частности, это означает, что немыслимо мощный ИИ возникнет в мире, где уже происходят сумасшедшие штуки (и, наверное, все уже напуганы). Если это так, то, я думаю, это важный факт о стратегической ситуации.

(Конкретизация медленного взлёта в терминах удвоений экономики может показаться странной, но, думаю, она улавливает несогласие: защитники версии быстрого взлёта, кажется, не ожидают перед ним четырёхлетнего удвоения, или, по крайней мере, прочие их убеждения о будущем не включают этого.)

Основной аргумент

Аргумент за медленный взлёт на первый взгляд весьма прямолинеен:

• Вероятно, перед тем, как у нас будет невероятно интеллектуальный ИИ, у нас будет ИИ немного похуже.
  • Много людей будут пытаться создать мощный ИИ.
  • Для большинства X, легче сообразить, как сделать версию X чуть похуже, чем как сделать X.
    • Версия похуже может быть дороже, медленнее, менее надёжной, менее обобщённой… (Обычно есть кривая компромиссов, и можно выбирать, по каким осям версия похуже будет отставать.)
  • Если много людей пытаются сделать X, и версия чуть похуже проще и почти-так-же-хороша, то кто-нибудь додумается до версии чуть похуже перед тем, как кто-нибудь додумается до лучшей версии.
  • Это кажется соответствующим историческим записям. Штуки обычно предваряются версиями похуже, даже в случаях, когда есть слабые причины ожидать не-непрерывного скачка.
    • Наверное, лучший контрпример – ядерное оружие. Но в этом случае было несколько очень сильных причин для скачка: в физике есть встроенный разрыв между плотностью химической и ядерной энергии, масштаб цепной ядерной реакции ограничен снизу, и динамика войны очень чувствительна к плотности энергии.
• Чуть-хуже-чем-невероятно-интеллектуальный ИИ радикально преобразует мир, приведя к (почти) такому же быстрому росту и (почти) таким же военным преимуществам, как и невероятно интеллектуальный ИИ.

Это простой аргумент в пользу медленного взлёта. Но есть несколько соображений в пользу быстрого взлёта, которые тоже надо оценить.

Очевидно, это качественный вопрос. В этом посте я не собираюсь уходить в числа, поскольку суть несогласия, как мне кажется, в качественных моделях.

Причины ожидать быстрого взлёта

Люди предложили разнообразные причины ожидать быстрого взлёта. Я думаю, что многие из этих аргументов осмысленны, но не думаю, что они поддерживают ту версию сильно сконцентрированного не-непрерывного прогресса, которую, кажется, обычно имеют в виду защитники быстрого взлёта.

Я ожидаю, что кроме этих есть и другие аргументы, или что я неправильно понял какие-то из этих, и надеюсь, что мне укажут, что я упустил.

Люди и шимпанзе

Суть моего ответа: шимпанзе практически бесполезны потому, что они не оптимизированы быть полезными, не потому что эволюция пыталась сделать что-то полезное, но у неё не получалось до людей.

Мозги шимпанзе всего приблизительно в три раза меньше, чем у людей, но гораздо хуже в создании технологии (или в науке, или в накоплении культуры…). Если бы эволюция отбирала по большей части по технологическим способностям, то разница между шимпанзе и людьми предполагала бы, что тройная вычислительная мощность и немножко дополнительной настройки может радикально увеличить мощность, что шло бы против истории о постепенном изменении.

Но эволюция шимпанзе не отбирала в первую очередь по созданию или использованию технологии, занятиям наукой или накоплению культуры. Задача, поставленная перед шимпанзе в основном независима от способностей, дающих людям такое огромное преимущество приспособленности. Не совсем независима – эволюция всё же создала людей только из-за наличия пересечений – но достаточно для того, чтобы нас не должно было удивлять, что с шимпанзе можно сделать маленькие изменения, которые сделают их куда лучше в проектировании технологии, занятиях наукой и накоплении культуры.

Если мы сравним людей и шимпанзе на задачах, для которых шимпанзе оптимизированы, то люди будут намного лучше, но разница всё же будет и близко не такой разительной. Сравнимой с разницей между шимпанзе и гиббонами, гиббонами и лемурами, или лемурами и белками.

Важно, что то, что оптимизирует эволюция меняется со временем: существо и его окружение меняются, выгода разных навыков может меняться, и всё это потенциально может происходить очень быстро. Так что для эволюции кажется простым переключение с «не заботится о X» к «заботится о X», но с ИИ-проектами ничего аналогичного не произойдёт. (Похожие штуки часто происходят при оптимизации чего-то стохастическим градиентным спуском, но не происходят на уровне сообщества машинного обучения в целом.)

Если мы отвлечёмся от навыков и вместо этого посмотрим на исходы, то можно сказать: «Эволюция всегда оптимизирует приспособленность, а люди сейчас захватили мир.» По этому поводу я заявляю про ограниченность эволюции. Во-первых, эволюция теоретически оптимизирует приспособленность, но она не способна посмотреть вокруг и определить, какие навыки будут самыми важными для приспособленности детей детей твоих детей. Во-вторых, человеческий интеллект невероятно хорошо влияет на приспособленность групп людей, но эволюция действует на отдельных людей, для которых эффект куда слабее (и кто едва ли получит выгоду от передачи знаний следующему поколению). Эволюция на самом деле оптимизирует что-то совсем другое, а не «доминирование человечества в мире».

Так что я не думаю, что пример эволюции многое говорит нам о том, применима ли история о постепенных изменениях к интеллекту. В её случае отсутствует ключевой элемент, сподвигающий постепенные изменения – оптимизация выполнения задачи. Эволюция непрерывно изменяет ту узкую метрику, которую она оптимизирует, но может очень быстро менять другие метрики. Те черты человеческой технологии, которые не оптимизировались, зачастую менялись быстро. Когда люди создадут ИИ, они будут оптимизировать его применимость, так что куда вероятнее, что её прогресс будет плавным.

Можно выразиться по-другому: разница между шимпанзе и людьми сильно контрастирует с обычным паттерном человеческого технологического развития. Можно сделать вывод, что интеллект сильно отличается от других технологий. Но разница между оптимизацией эволюции и нашей оптимизацией кажется куда более экономным объяснением. Чтобы быть более точным и более Байесианским: априорная вероятность высказанной мной истории ограничивает сверху возможное изменение взгляда на природу интеллекта.

СИИ будет побочным эффектом

Суть моего ответа: я ожидаю, что люди заметят, что СИИ приближается, и будут много вкладываться.

Исследователи ИИ могут оптимизировать узкие формы интеллекта. Если так, то мы можем получить ту же динамику, что у шимпанзе – непрерывный прогресс в выполнении узких задач узкими способами, приводящий однажды к скачку в общих способностях в качестве побочного эффекта. Затем эти общие способности приведут к намного лучшему прогрессу в узких задачах, но нет причины ожидать непрерывности, потому что никто не оптимизирует обобщённый интеллект.

Я не принимаю этот аргумент, потому что я думаю, что исследователи, вероятно, будут агрессивно оптимизировать обобщённый интеллект, раз уж он будет сильно помогать в задачах, которые их заботят. Если это так, то этот аргумент приводит к не-непрерывности только если есть ещё и некая дополнительная причина считать, что применимость обобщённого интеллекта не-непрерывна.

Впрочем, я соглашусь, что быстрый взлёт возможен, если исследователи будут сильно недооценивать влияние обобщённого интеллекта и не будут его оптимизировать. Может оказаться, что корень разногласия в «будут ли исследователи адекватно оценивать влияние обобщённого интеллекта и пытаться оптимизировать его?». Моя интуиция основана на комбинации (слабых) соображений адекватности и текущих трендов в машинном обучении.

Нахождение секретного ингредиента

Суть моего ответа: это не кажется обычным делом в прошлом, и я не вижу, с чего бы нам больше ожидать этого у СИИ (если мы не принимаем один из других аргументов)

Другое распространённое мнение: есть некоторое количество ключевых озарений, необходимых для создания обобщённо интеллектуальной системы. Когда последний кусочек паззла встанет на место, мы сможем увидеть большой скачок; в один день у нас есть система с достаточной грубой мощностью, чтобы быть очень умной, но с критическими ограничениями, а на следующий день она уже в состоянии использовать всю эту мощность.

Я не знаю, как точно на это ответить, потому что я не уверен, что адекватно это понимаю.

Я не знаю большого количество исторических примеров такого явления (и ни одного по-настоящему хорошего примера) – когда были «ключевые озарения», нужные, чтобы заставить что-то работать, первая версия этих озарений почти всегда была либо открыта задолго до того, как стала нужна, или была неполноценной слабой версией, которая затем итеративно улучшалась за длинный период времени.

В той степени, в которой взгляды защитников быстрого взлёта основываются на исторических примерах, я был бы рад узнать о каких-нибудь каноничных примерах, которые, по их мнению, лучше всего иллюстрируют этот паттерн, чтобы мы могли вести более конкретную дискуссию по поводу этих примеров и того, что они говорят о ИИ.

Заметим, что по-настоящему хороший пример должен касаться задачи, волнующей многих людей. Есть много примеров, когда никто не думал про X, на кого-то снизошло озарения, сильно помогающее с X, и много лет спустя это помогло с задачей Y, которая людей волнует. Это, конечно, интересно, но не особо удивительно с точки зрения сторонника медленных изменений, если это только не привело к удивительно быстрому прогрессу в Y.

Касательно СИИ, мне кажется, что нам скорее стоит иметь несколько меньшую, чем обычно, вероятность, что последнее «ключевое озарение» очень сильно всё изменит.

• Обобщённый интеллект был создан эволюцией, так что, вероятно, он может быть создан итеративными улучшениями простых ингредиентов.
• Кажется, у нас уже есть необходимый набор озарений для самовоспроизводящегося СИИ, так что мы точно не начинаем с нуля.
• Исторические применения ИИ относительно слабо полагались на ключевые озарения, а они кажутся ближайшей аналогией СИИ.

Пример шимпанзе или глупых людей кажется одним из лучших аргументов в пользу ключевых озарений, но я уже описал, почему считаю его довольно неубедительным.

В этом случае я пока не чувствую, что понимаю позицию противоположной стороны, так что я думаю, что это самое вероятное место, где мои взгляды могут измениться после следующих обсуждений. Для начала я рад был бы увидеть более ясную формулировку сторонников быстрого взлёта.

Порог универсальности

Суть моего ответа: кажется, что ранние ИИ системы перейдут порог универсальности до достижения суперинтеллекта, поскольку (а) существуют компромиссы между универсальностью и другими желательными свойствами, которые позволят людям создать универсальный ИИ рано, если его выгоды достаточно велики, и (б) я думаю, что мы уже можем создать универсальный ИИ, вложив достаточно много средств.

Некоторые когнитивные процессы застревают или «выдыхаются», если запустить их на неограниченное время, тогда как другие способны выбирать, улучшать себя, проектировать системы-наследники, и в некоторый момент достигнуть произвольно высоких уровней способностей. ИИ-система может из слабой стать очень мощной при переходе порога между этими двумя режимами.

Ясно, что некоторые люди находятся выше порога универсальности, тогда как шимпанзе и маленькие дети, вероятно, ниже его. И если взять нормального человека и сильно зашумить его мыслительный процесс (или ослабить его), то он тоже опустится ниже порога.

Легко представить слабый ИИ как что-то вроде ограниченного человека, чьи ограничения уменьшаются со временем. Мы знаем, что, когда они дойдут до нуля, ИИ будет выше порога универсальности. Прямо сейчас он ниже порога. Так что где-то посередине должен быть момент, когда он пересекает этот порог – и тогда и предсказывается быстрый взлёт.

Но ИИ не похож на ограниченного человека. Проектировщики ранних ИИ систем будут пытаться сделать его как можно применимее. Так что если универсальность невероятно полезна, то она появится в проектах ИИ как можно раньше; проектировщики будут добиваться её за счёт других параметров (вроде стоимости или скорости).

Так что тут мы почти что возвращаемся к предыдущему пункту: есть ли некоторый секретный ингредиент, который даст тебе универсальность, но без которого её не достичь, как ни старайся? Я думаю, что это маловероятно, по причинам, описанным в предыдущем разделе.

Есть и другая причина, по которой я скептически отношусь к резкому взлёту из-за секретного ингредиента универсальности: я думаю, что мы уже можем создавать универсальные ИИ (которые, если им дать достаточно времени, будут обучаться сами и достигать произвольно высоких способностей), если попытаемся, и причина по которой мы этого не делаем – то, что это просто не важно для качества работы, а получившиеся системы будут очень медленными. Этот аргумент взгляда изнутри очень сложно подробно описать здесь, и я не думаю, что вся позиция от него зависит, но он важен для понимания моих взглядов.

«Понимание» не непрерывно

Суть моего ответа: я всё ещё не понимаю этот аргумент и не уверен, что в нём есть, что обсуждать.

Может быть, понимание мира склонно щёлкать, от «особо ничего не понимаю» к «понимаю в общем-то всё».

Этого можно ожидать, поскольку всё сцеплено со всем остальным. Если ты понимаешь только 20% мира, то по сути любое высказывание в интернете должно вводить в замешательство, и ни в чём не получается разобраться. Мне кажется, что это ошибочно, по двум причинам. Во-первых, информация на самом деле не так уж сцеплена, даже в интернете, а (куда большая) часть знаний, которые ИИ сгенерирует сам для себя будет ещё менее сцеплена. Во-вторых, неправильно моделировать ИИ как имеющего плавно расширяющуюся область, где он понимает всё, но за границей которой не понимает ничего. Если только нет какого-то другого аргумента против непрерывности, понимание обобщённым ИИ каждой области будет просто улучшаться постепенно, и взятие минимума по многим областям не сделает всё сильно менее непрерывным.

Люди могут ожидать щелчка, потому что это то, что они испытывали сами. Это очень непохоже на мой опыт, но может другие люди отличаются – было бы очень интересно, если окажется, что они исходят из этого. Или, может, они так воспринимают работу чужих мыслительных процессов. Но когда я смотрю на чужое понимание, обычно кажется, что оно возникает плавным переходом от поверхностного или слабого понимания к глубокому.

Или они ожидают щелчка, потому что прогресс, позволивший понять одну область, позволит понять много других. Но это на самом деле ничего не объясняет: я бы ожидал частичного посредственного понимания перед полным.

Конечно, аргументы из других разделов (например, секретный ингредиент, шимпанзе и люди) тоже могут быть аргументами в пользу не-непрерывности понимания. В других разделах я объясняю, почему не нахожу их убедительными.

Задержка развёртывания

Суть моего ответа: развёртывание нынешних ИИ медленное, а развёртывание мощных ИИ будет быстрым, но в промежутке будут ИИ, чьё развёртывание будет занимать промежуточное время.

При улучшении ИИ требуется время, чтобы мир действительно получил от него выгоду. К примеру, нам нужно подстроить другие процессы, чтобы получить преимущество от улучшения, и направить новые ИИ-системы в конкретные области, где их будут использовать. Это кажется артефактом негибкости нынешней технологии, и, например, люди могут куда быстрее становиться полезными в новых обстоятельствах.

В некоторый момент мощный ИИ будет становиться полезным в новых ситуациях ещё быстрее, чем люди. Так что может произойти прыжок от узкого ИИ, развёртывание которого занимает много времени, к обобщённому ИИ, развернуть который легко.

Я слышал этот аргумент несколько раз за последние несколько месяцев, но не нахожу его прямолинейную версию убедительной: без каких-то ещё аргументов за не-непрерывность, я не вижу, почему «время развёртывания» должно скакнуть от большого числа к маленькому. Я скорее ожидаю, что развёртывание будет постепенно упрощаться по мере улучшения ИИ.

Я могу представить вариацию этого аргумента в виде «сверхзвукового удара»: предположим, каждый месяц разработки ИИ слегка упрощает его развёртывание. Со временем, разработка постепенно ускоряется, так что время развёртывания уменьшается всё быстрее и быстрее. В некоторый момент, месяц разработки ИИ начинает уменьшать время развёртывания больше чем на месяц. С этих пор «развёртывание ИИ старым классическим способом» становится непривлекательной стратегией: ты быстрее выйдешь на рынок просто улучшив ИИ. Так что даже если вся основная динамика непрерывна, качество развёрнутого ИИ может резко скакнуть.

Это явление произойдёт только если очень сложно делать размены между временем развёртывания и другими свойствами вроде стоимости или качества. Если есть способы разменивать, то люди будут быстрее проталкивать до практического использования худшие ИИ-продукты, поскольку это будет очень выгодно. Я сильно ожидаю, что размены возможны, поскольку есть много кажущихся очевидными способов обменивать друг на друга время развёртывания и применимость (большая часть «времени развёртывания» это просто трата времени на улучшение применимости системы), и я не видел аргументов в пользу того, что это перестанет быть так.

Рекурсивное самоулучшение

Суть моего ответа: до того, как ИИ станет хорош в самоулучшении, будет ИИ, посредственный в самоулучшении.

Мощный ИИ можно (помимо всего прочего) использовать, чтобы разработать ИИ ещё лучше. Это приведёт к резкому росту.

$Само по себе это не является аргументом против непрерывности: в модели медленного взлёта перед тем, как у нас будет ИИ, радикально ускоряющий разработку ИИ, у нас уже будет ИИ, значительно ускоряющий разработку ИИ (а перед ним – слегка ускоряющий). Так что ИИ – это просто ещё один более быстрый шаг гиперболического роста, который мы сейчас переживаем, соответствующий дальнейшему ускорению, но не нарушению непрерывности (даже непрерывности скорости).

Кажется, самый часто встречающийся аргумент за то, что рекурсивное самоулучшение нарушит непрерывность: некоторые системы «выдыхаются», пытаясь спроектировать лучший ИИ, производят пару улучшений и заходят в тупик, в то время как другие способны автономно генерировать всё больше и больше усовершенствований. По сути это – тот же аргумент универсальности из предыдущего раздела.

Обучение и тестирование

Суть моего ответа: до того, как кто-то сможет обучить по-настоящему мощный ИИ, кто-то другой сможет обучить ИИ немного похуже.

Во время машинного обучения система зачастую проходят путь от «довольно унылых» до «очень крутых» — за дни, не месяцы или годы.

Но кривая обучения кажется практически не имеющей отношения к скорости взлёта. Вопрос в том, насколько твой СИИ лучше, чем СИИ, который смогли обучить шесть месяцев назад?

Если ты можешь потратить $X на обучение СИИ, который может захватить мир, то почти наверняка кому-то другому шесть месяцев назад имело смысл потратить $X/2, чтобы обучить СИИ, который может всего лишь радикально преобразовать мир, поскольку это принесло бы шесть месяцев немыслимых прибылей. Аналогично, если твой СИИ предоставляет тебе решающее стратегическое преимущество, то кто-то ещё мог пораньше потратить меньше, чтобы получить довольно большое военное преимущество, которое позволило бы им забрать твои ресурсы.

Для получения нарушение непрерывности на самом деле надо, чтобы либо небольшое масштабирование обучения, либо чуть большее развитие ИИ-технологий, приводило к скачку применимости. Что возвращает нас к другим аргументам.

Скачок на 100% автоматизации

Суть моего ответа: на момент, когда людей полностью удалят из процесса, они уже будут умеренно улучшать вывод, а не служить жёстким бутылочным горлышком.

Рассмотрим простую модель, в которой машины способны выполнять долю p подзадач большой задачи (вроде проектирования СИИ) с постоянно растущей эффективностью, а людям надо выполнять оставшуюся долю (1-p). Если основные затраты уходят на людей, и их число при увеличении p не меняется, то продуктивность растёт как 1 / (1 — p). При стремлении p к 1, продуктивность быстро выходит на машинный уровень. В прошлом я находил этот аргумент весьма убедительным.

Предположим, что мы полностью удалили людей из процесса. По наивной модели, продуктивность скакнёт от 0 (где машины не могут справиться с задачей) к какому-то очень большому значению. Мне это кажется довольно маловероятным, по точно тем же причинам, что обсуждались в предыдущих разделах. Кажется куда правдоподобнее, что в первой точке, в которой машины могут сами справиться с задачей, они делают это очень плохо – и рост после этого должен ускоряться постепенно.

Добавление в картину людей должно делать изменения лишь более плавными: на ранних стадиях люди сильно ускоряют прогресс, а по прошествии времени они предоставляют всё меньше и меньше преимущества (машины их заменяют), так что полная замена людей, видимо, должна скорее уменьшить ускорение, а не увеличить.

По сути, кажется, что это сводится к тому, ожидаешь ли ты уже не-непрерывного прогресса на основании одного из других аргументов, особенно секретного ингредиента или порога универсальности. Сокращение людей кажется замедляющим, а не ускоряющим эти изменения.

Аргумент всё же важный, и правда, что если один из других аргументов нарушает непрерывность, то это нарушение скорее всего произойдёт примерно тогда же, когда и 100% автоматизация. Но в основном он важен как ответ на специфические контраргументы о взаимодополняемости, к которым я не прибегал.

Вес свидетельств

Мы обсудили много возможных аргументов в пользу быстрого взлёта. В целом было бы осмысленно считать, что никакой отдельный аргумент не делает его вероятным, но все вместе они становятся убедительными.

Однако, я думаю, что каждый из этих факторов идеально сочетается с историей постепенных изменений и постепенно ускоряющимся гиперболическим ростом, так что они вовсе не опровергают эту гипотезу. Это не случай множества слабых знаков быстрого взлёта производящих независимые свидетельства, или кучи слабых факторов, механистически складывающихся в большой эффект.

(Сравнение шимпанзе и людей – исключение – оно предоставляет Байесианское свидетельство за быстрый взлёт, которое можно скомбинировать с другими факторами. Но оно одно.)

Я вполне могу ошибаться по поводу любого из этих аргументов. Поэтому я присваиваю куда большую вероятность быстрому взлёту, чем если бы аргументов было мало (сейчас моя оценка – примерно 30% на быстрый взлёт). Но если я передумаю, то это, наверное, будет потому, что один из этих аргументов (или другой, не представленный здесь) окажется убедительным сам по себе. У меня есть впечатление, что другие люди в сообществе безопасности ИИ имеют оценку ближе к 70% или даже 90%, и я предполагаю, что это из-за того, что они уже считают некоторые из этих аргументов убедительными.

Почему это важно

Иногда люди заявляют, что нам следует сосредоточиться на возможности быстрого взлёта, даже если она маловероятна. Хоть я и согласен, что медленный взлёт в целом увеличивает вероятность нашего выживание, я не думаю ни (а) что быстрый взлёт настолько безопасен, что можно о нём не думать, ни (б) что планы на случай быстрого взлёта подойдут и для медленного.

Ни одна из скоростей взлёта не кажется однозначно проще-для-выживания:

• При медленном взлёте: становится очевидно, что ИИ преобразует мир, до того, как мы себя убьём, будет некоторое время поэкспериментировать с разными подходами к безопасности, политики и регулировщики будут иметь время, чтобы понять и отреагировать на ИИ, и т.д. Но этот процесс займёт всего несколько лет, и мир будет меняться очень быстро, так что мы легко может провалиться, если не подготовимся заранее.
• При быстром взлёте: те, кто разработают СИИ будут поначалу обладать огромным преимуществом над остальным миром и свободны выбирать, что делать со своим изобретением. Если мы представим создание СИИ в мире похожем на сегодняшний, то легко представить ключевые действия проще, чем открытая задача согласования. Но в сценарии медленного взлёта другие действующие лица уже будут иметь почти-настолько-же-хороший СИИ, и группа, пытающаяся использовать СИИ будет очень ограничена и не сможет предпринять никакого ключевого действия. Так что надо будет либо скоординироваться, чтобы избежать развёртывания сложноконтролируемого СИИ, либо решить сложную версию согласования ИИ (например, с очень хорошими защитой / конкурентоспособностью / масштабируемостью).

Эти отличия влияют на наши приоритеты:

• Если медленный взлёт вероятнее:
  • Нам следует иметь предложения планов и установленные социальные институты, которые смогут воспользоваться периодом разгона, поскольку координация будет и нужнее и осуществимее.
  • Мы сможем себе позволить пошагово продвигаться в решении задачи согласования, но нам придётся решать относительно более сложную её версию.
• Если быстрый взлёт вероятнее:
  • Нам не следует ожидать вмешательства государства или крупномасштабной координации.
  • У нас будет меньше времени на финальное продвижение согласования, но может быть ОК, если наши решения не конкурентоспособны или ограниченно масштабируются (их должно хватить лишь на выполнение ключевого действия).

Помимо немедленных стратегических следствий, я часто чувствую, что у меня в голове совсем другая картина мира, чем у других людей в сообществе безопасности ИИ. Учитывая, что моя карьера нацелена на оказание влияния на будущее ИИ, значительное изменение моих убеждений по его поводу кажется большой удачей.