Нго и Юдковский о Росте Способностей ИИ

Это — второй пост из серии записанных дискуссий о прогнозировании и согласовании СИИ. См. первый пост за подробностями формата. (Оригинал)

1. Нго и Юдковский о Сложности Согласования
2. Нго и Юдковский о Росте Способностей ИИ
3. Юдковский и Кристиано обсуждают «Скорости Взлёта»

***

5. Обсуждение 14 сентября

5.1. Рекурсивное самоулучшение, абстракции и чудеса

[Yudkowsky][11:00]  Добрый день / добрый вечер. Итак, очевидная тема на сегодня – твоё ощущение того, что я схожим образом неправ о рекурсивном самоулучшении и консеквенциализме?

[Ngo][11:04]  Верно. А ещё одна потенциальная тема (наверное, вторая по важности) – вопрос о том, что ты имеешь в виду под функциями полезности, и большее вкапывание в соображения по их поводу. Но давай я сначала оформлю это заявление про РСУ/консеквенциализм. Я заявляю, что твои ранние тексты про РСУ слишком много сосредотачивались на очень мощной абстракции рекурсивно применяемой оптимизации, и слишком мало – на том, как такие мощные абстракции могут… скажем, загрязниться при взаимодействии с реальным миром. В частности, я думаю, что аргументы Пола о том, что перед взлётом от РСУ будет ещё значительный прогресс в области ИИ, довольно сильны. (Просто чтобы быть на одной волне: в какой степени эти аргументы сдвинули твою уверенность?)

[Yudkowsky][11:09]  Не помню, чтобы Пол хоть как-то её сдвинул. Её сильно сдвинули события вроде Alpha Zero и революции глубинного обучения в целом. Что Пол сказал, что не входит в это – заявлял ли он впоследствии, что мы получим сверхчеловеческий-во-всех-отношениях ИИ, который не будет масштабироваться ещё дальше ни с помощью увеличения вычислительных мощностей, ни с помощью РСУ?

[Ngo][11:10]  А, вижу. В таком случае давай сосредоточимся на сдвиге от революции глубинного обучения.

[Yudkowsky][11:12][11:13]  Я также замечу, что вижу свою прогнозируемую ошибку как мало связанную с тем, что «абстракции загрязняются при взаимодействии с реальным миром» — этот трюизм очень мало говорит сам по себе, если ты не можешь вывести направление сдвига других переменных из наблюдений неизвестной загрязнённости абстракции. Я, скорее, вижу ошибку, близкую к тому, что я как-то назвал Законом Раннего Провала. Он утверждает, что по сравнению с интересной частью задачи, в которой весело представлять, как ты проваливаешься, скорее ты провалишься до этого, на одном из многих ранних скучных этапов, где это возможно. Близкая к этому ошибка в моём случае в том, что я сосредоточился на интересном пути масштабирования способностей ИИ и самых мощных аргументах для преодоления возражений Робина, и упустил путь, которым эти возражения могут провалиться ещё раньше через быстрое масштабирование и обобщение более скучным способом.

Это значит не то, что мои аргументы про РСУ были ошибочны в своей предполагаемой области применения, но что другие штуки также верны и происходят у нас раньше. Для ясности, я думаю, что это важная и обобщённая проблема с невозможной задачей попыток прогнозировать Будущее, и если я неправ в чём-то ещё, то правдоподобно было бы, что похожим образом.

[Ngo][11:13]  Тогда тут примерно такая аналогия: есть мощная абстракция, а именно консеквенциализм; и мы оба согласны, что (как и с РСУ) много консеквенциализма очень опасно. Но мы не согласны насчет того, в какой степени на стратегическую обстановку, предшествующую высококонсеквенциалистичному ИИ, влияют иные факторы, кроме этой конкретной абстракции. этот трюизм очень мало говорит сам по себе, если ты не можешь вывести направление сдвига других переменных из наблюдений неизвестной загрязнённости абстракции Не соглашусь с этим заявлением. Мне кажется, что предсказуемое направление, в котором толкает загрязнённость – это в сторону от применимости высокоуровневой абстракции.

[Yudkowsky][11:15]  Реальный мир весьма загрязнён, но хорошие абстракции всё ещё применимы, хоть и окружены этой загрязнённостью. Суть Закона Раннего Провала не в загрязнённости абстракции, а в том, что, оказывается, предмет обсуждения отличается от абстракций, которые применялись к другому предмету обсуждения. Если компания провалилась до увлекательного испытания масштабирования приложения на миллион пользователей, потому что не получилось нанять достаточно программистов, чтобы создать это приложение – проблема не в том, что абстракция о масштабировании на большое количество пользователей была загрязнена, а в том, что ключевые факторы оказались где-то вообще не там. Действительно получить какой-то прогресс, просто применив 10,000 TPU – не особо известная технологическая идея на момент оригинального спора с Робином – не упущение абстракции РСУ, просто путь получения мощных способностей и без РСУ.

[Ngo][11:18]  Мне кажется, что разница тут в основном в определениях, тебе нет?

[Yudkowsky][11:18]  Если бы я спорил с кем-то, считающим, что развитие будет быстрее, чем думал я, то, может быть, я бы сосредоточился на другом предмете обсуждения и с некоторой вероятностью был бы явно неправ по его поводу. Я в основном вижу мою изначальную ошибку в том, что я позволил на себя влиять слушателям, очень серьёзно кивавшим на аргументы Робина, а не рассуждал, как реальность может расходиться с моими убеждениями в любую сторону, не только о том, как мог бы быть прав Робин, и как убедить слушателей.

[Ngo][11:19]  Кстати, «действительно получить какой-то прогресс, применив 10,000 TPU» не выглядит примером Закона Раннего Провала – это тогда уж выглядит Ранним Успехом

[Yudkowsky][11:19]  Это Ранний Провал аргументов Робина о том, почему ИИ не будет быстро масштабироваться, и моё упущение этого – причина, по которой я не принял во внимание, почему его аргументы могут провалиться раньше. Но, опять же, это всё сложнее сказать из 2008, чем из 2018 Но это вполне себе урок того, что будущее на самом деле сложно предсказать, если ты пытаешься делать это в прошлом И я не думаю, что есть лишь «разница в определениях» между тем, чтобы сделать неправильный аргумент о правильном предмете обсуждения или правильный аргумент о неправильном предмете. это два… очень разных варианта ошибок, из которых ты выучиваешь разные уроки но если тебя не увлекают эти конкретные тонкие различия ошибок и уроков, то, наверное, стоит не задерживаться на этой части мета-уровневого Искусства.

[Ngo][11:21]  Окей, давай посмотрим, понимаю ли я тут твою позицию. После революции глубинного обучения оказалось, что есть способы получить мощные способности без РСУ. Это само по себе не является (сильным) ударом против абстракции РСУ; так что, если мы не ожидаем другой сравнительно удивительной революции перед достижением СИИ, то это и не причина сомневаться в абстракции консеквенциализма.

[Yudkowsky][11:25]  В первую очередь, консеквенциализм и РСУ – очень разные штуки. Консеквенциализм, по моим собственным книжкам, значительно проще. Я не вижу особой концептуальной связи между ними, кроме разве что того, что и то и другое входит в связанную картину последовательного взгляда на мышление. Вполне обоснованно подозревать, что мы можем получить другую удивительную революцию до достижения СИИ. Ожидать конкретную революцию, которая даст конкретные чудесные преимущества – куда более сомнительно и пример призывания ожидаемой пользы из ниоткуда – это как надеяться выиграть лотерею, потому что первый шар оказался 37. (Также, если ты искренне убеждён, что действительно обладаешь информацией о том, какая революция может привести к СИИ, то тебе стоит сказать об этом лишь нескольким осторожно выбранным людям, не выкладывать это в публичный диалог.)

[Ngo][11:28]  И я не думаю, что есть лишь «разница в определениях» между тем, чтобы сделать неправильный аргумент о правильном предмете обсуждения или правильный аргумент о неправильном предмете. Про это: подразумевающаяся посылка «а ещё ничто не сломает эту абстракцию и не сделает её намного менее важной» превращает правильный аргумент о неправильном предмете в неправильный.

[Yudkowsky][11:28]  Конечно. Тогда можно ещё заметить, что тут есть важный урок говорить такие штуки вслух, а не оставлять их «подразумеваемыми». Выученные уроки такого рода – это одна из причин, почему я прошёлся по твоим пересказам нашего обсуждения и попросил внести множество аккуратных исправлений слов вроде «произойдёт» и всякого такого.

[Ngo][11:30]  Осмысленно. Так, я заявляю, что: 1. Такая посылка необходима, чтобы поверить в твои заявления о том, что консеквенциализм приведёт к вымиранию. 2. Неожиданная революция усложняет принятие этой посылки, даже если мы не знаем, что это конкретно за революция. 3. Если бы нам в 2008 сказали, что в области ИИ произойдёт неожиданная революция, то нам стоило бы быть менее уверенными в важности абстракции РСУ в понимании СИИ и его рисков.

[Yudkowsky][11:32][11:34]  Предположим, я скажу тебе, что это заявление просто включено во все мои предыдущие осторожные уточнения о том, что мы можем получить «чудо» и что нам следует готовиться к неизвестному чуду в как можно большем числе мест. Почему это вызывает подозрения в нарушении модели? Я также думаю, что ты неправильно понял мои старые аргументы про РСУ, в духе того, как ты описывал некоторые мои убеждения как «X – главная большая центральная штука» вместо «X – место, где другой человек застрял, и Элиезеру пришлось потратить много времени на споры». Я всегда заявлял, что что РСУ – один из путей, которым способности СИИ могут масштабироваться намного дальше, когда он уже зайдёт достаточно далеко, а не точный путь, которым ИИ отмасштабируется до обобщённости человеческого уровня.

Это продолжает быть ключевым фактом, на котором строится моя модель будущего, в форме неопровергнутого изначального аргумента об именно том предмете обсуждения, к которому он применялся изначально: если ты потеряешь контроль над достаточно умным СИИ, то он сделает ВЖУУХ. И этот факт о том, что спровоцирует метафорический эквивалент полного обмена ядерными ударами и полную потерю доступа к игровой доске, продолжает быть очень важным для понимания того, что нужно сделать для достижения победы вместо этого.

[Ngo][11:34][11:35]  Наверное, мы по-разному интерпретируем слово «чудо». Я думаю, что это событие с пренебрежимо маленькой вероятностью.

[Yudkowsky][11:35]  События с действительно пренебрежимо маленькой вероятностью не особо полезны для планов.

[Ngo][11:35]  Что, я полагаю, не сходится с твоими заявлениями, что нам следует готовиться к чуду.

[Yudkowsky][11:35]  Верно.

[Ngo][11:35]  Не припоминаю сразу, где ты это заявлял. Сейчас быстро поищу по записям Нужно держать свой разум открытым для любых чудес, в том числе тех, которые ты не ожидал и о которых не думал заранее, потому что на этот момент наша последняя надежда – на то, что будущее зачастую весьма удивительно Окей, вижу. Коннотации «чуда», видимо, слишком сильно на меня воздействовали, так что я не воспринял «нужно держать свой разум открытым» как практический совет. Какую примерно вероятность в целом ты приписываешь тому, что нас спасёт то, что ты называешь чудом?

[Yudkowsky][11:40]  Ну думаю, что количественные вероятности тут особенно полезны. И если бы она у меня и была, я подозреваю, что не стал её публиковать.

[Ngo][11:41]  Можешь выдать бит информации? Скажем, больше или меньше 10%?

[Yudkowsky][11:41]  Меньше. Хотя в основном это определяется не вероятностью позитивного чуда, а тем, насколько мы неподготовлены им воспользоваться, так что не будем им спасены.

[Ngo][11:41]  Ага, вижу.

5.2. Идея ожидаемой полезности

[Ngo][11:43]  Окей, я теперь значительно менее уверен, насколько мы вообще на самом деле несогласны. По крайней мере по проблемам мышления ИИ.

[Yudkowsky][11:44]  Мне кажется, что ты подозреваешь, что мы получим конкретное чудо, имеющее отношение к «консеквенциализму», что означает, что хоть это и чудо для меня, это не чудо для тебя. Есть что-то запрещённое моей моделью, что не запрещено твоей.

[Ngo][11:45]  Думаю, это отчасти верно, но я бы скорее назвал это широким диапазоном возможностей в примерном направлении того, что ты неправ по поводу консеквенциализма.

[Yudkowsky][11:46]  Но, как бы ни был приятнее спор, где у другого человека есть конкретные позитивные ожидания, что X сработает, можно спорить и когда я знаю, что X не сработает, а другой человек этого не понимает. Так что скажи ещё!

[Ngo][11:47]  Вот поэтому я в основном пытаюсь прояснить твои модели, а не делать собственные конкретные заявления. Что, если ты и не против, продолжу делать, спросив, на чём определена функция полезности – скажем, в контексте людей.

[Yudkowsky][11:51][11:53]  Я думаю, что для получения концепта Полезности, как он есть у меня, тебе пришлось бы делать упражнения, которые я не знаю, как выдать. Может, набор упражнений, показывающих, как агент, возможно, человек, совершает набор выборов, которые не могут подчиняться ожидаемой полезности, и в которых надо понять, как выкачать деньги из этого агента (или предоставить ему, а он их упустит). Типа, действительно сделать это пару десятков раз. Может, то, что я это говорю, не очень помогает? Если бы это сказали Элиезеру, он бы сразу отреагировал «А, да, я вижу, что я так обновлю своё мнение после того, как сделаю эти упражнения, так что я сэкономлю себе немного времени и усилий и просто обновлю мнение сейчас, не делая упражнений», но такие прыжки-прямо-к-пункту-назначения, мне кажется… упускаются многими не-Элиезерами. Они настаивают на сложном способе и потом удивляются. Боже мой, кто бы мог подумать, что прорыв в ИИ внезапно приведёт к тому, что ИИ теперь будет казаться на сто лет ближе, чем вчера? Боже мой, кто бы мог подумать, что согласование сложное? Полезность можно увидеть как исток Вероятности в разуме, хоть Вероятность подчиняется своим собственным, более простым ограничениям непротиворечивости.

Вроде того, что если ты не оцениваешь в своём разуме пути через время неким количественным способом, определяющим сколько ресурсов можно потратить на подготовку к ним, то из тебя выкачают деньги Поэтому разумные существа думают о чём-то как о более или менее вероятном

[Ngo][11:53]  Предположим, что у агента есть некий высокоуровневый концепт – скажем, честь – которые приводит к тому, что он не принимает предложения денег.

[Yudkowsky][11:55]  Предположим, что у агента есть некий высокоуровневый концепт – скажем, честь – которые приводит к тому, что он не принимает предложения денег. Тогда есть две возможности: — Этот концепт чести – это что-то, что ты можешь увидеть как инструмент, прокладывающий путь через время к пункту назначения — Честь – это что-то, что не возникло бы в результате оптимизации для каких-то других конечных исходов

[Ngo][11:55]  Хорошо, вижу. Хмм, но, кажется, люди зачастую не рассматривают концепты как помогающие прокладывать путь через время к пункту назначения (к примеру, деонтологический инстинкт не убивать.) И всё же эти концепты по факту появились в результате оптимизации эволюцией

[Yudkowsky][11:59]  Ты описываешь недостаток человеческой рефлексивности о своей консеквенциалистской структуре, не отклонение от консеквенциалистской структуры. 🙂

[Ngo][12:01]  (Извиняюсь, интернет немного глючил; переключился на соединение получше.)

[Yudkowsky][12:01]  Но да, с моей точки зрения, есть большой концептуальный разрыв в том, что я могу поглядеть на что-то пару секунд и сообразить, как это представить в виде прокладывания путей через время, а другие думают, что «консеквенциализм» происходит только когда разум явно думает словами о «так, вот это будет иметь такое последствие». Аналогично с Ожидаемой Полезностью, я её вижу каждый раз, когда что-то присваивает относительный вес планированию путей сквозь время, не когда человек вслух присваивает исходам числа.

[Ngo][12:02]  Человеческая консеквенциалистская структура была оптимизирована эволюцией для другого окружения. Мы консеквенциалистичны в новом окружении постольку, поскольку у нас получается быть рефлексивными о нашей консеквенциалистской структуре (или пока между окружениями есть сильные сходства).

[Yudkowsky][12:02]  Неверно. Происходит просто обобщение за пределы обучающего распределения, потому что лежащая в основе сонаправленность поведения проста. Когда у тебя есть очень простой паттерн, он может обобщаться через слабые сходства, не «сильные сходства». Человеческий мозг большой, но сонаправленность в нём проста. Идея – структура, которая объясняет, почему большая штука работает, намного меньше этой большой штуки. Так что она может довольно широко обобщаться.

[Ngo][12:04]  С примером инстинкта не убивать людей – это один из этих «очень простых паттернов», о которых ты говоришь?

[Yudkowsky][12:05]  «Рефлексивность» не помогает сама по себе, только если на каком-то глубинном уровне паттерн уже обобщается. В смысле, либо правда может обобщаться по данным, либо не может? Меня немного запутывает, почему ты поднял в этом контексте тему «рефлексивности». И, нет. Инстинкт не убивать не кажется мне правдоподобной кросс-культурной универсалией. 40% смертей мужчин Яномами вызваны внутриплеменными схватками, емнип.

[Ngo][12:07]  А, я думаю, мы неправильно друг друга поняли. Когда ты сказал «этот концепт чести – это что-то, что ты можешь увидеть, как что-то, что помогает прокладывать путь через время к пункту назначения», я подумал, что ты имел в виду «ты» как агент, о котором идёт речь, а не «ты» как гипотетический читатель.

[Yudkowsky][12:07]  А. Я бы не стал приписывать столько компетенции несуперинтеллектуальному агенту. Даже у меня нет времени думать про больше 0.0001% 0.01% моих мыслей, почему они что-то делают, но, к счастью, не надо думать о том, почему 2 + 2 = 4, чтобы это был правильный результат при счёте овец.

[Ngo][12:10]  Понял. Я попробую теперь кинуть тебе высокоуровневое (но пока зачаточное) несогласие и посмотреть, что получиться. Но пока я формулирую, мне любопытно, что ты думаешь о том, куда надо повести дискуссию. А я могу попробовать выдать высокоуровневое (но всё равно не особо обдуманное) несогласие и посмотреть, куда это приведёт. На самом деле, давай попробуем потратить пару минут, чтобы решить, что обсуждать дальше, а потом устроим перерыв Я думаю, что сейчас уже может быть ценнее перейти на геополитику

[Yudkowsky][12:19]  Некоторые мои нынешние мысли – это повторение старого отчаяния: я ощущаю, что типичный Другой в сообществе Эффективного Альтруизма не имеет опыта с исследованием неожиданного порядка, с использованием обобщений, от которых можно ожидать, что они распространятся на новые случаи, хоть это не очевидно сразу же, с замечанием простых много обобщающихся структур и с тем, чтобы всё это было настоящим полезным техническим опытом; вместо того, чтобы кто-то не-ограничивающим-ожидания способом болтал о том, как «капитализм ответственен за всё, что неправильно в мире», распространяя это на всё подряд. Я мог бы попытаться использовать куда более простой язык в надежде, что люди действительно посмотрят-на-воду в стиле Фейнмана, в духе «прокладывания пути через время» вместо Консеквенциализма, который сам по себе уже шаг вниз от Ожидаемой Полезности. Но ты действительно теряешь что-то, когда выкидываешь более технический концепт. А потом люди всё равно либо думают, что ты с первого взгляда видишь, как что-то подходит под «прокладывание путей через время», либо что это что-то, что люди делают только явно, когда визуализируют пути через время с использованием именно этой терминологии, либо, если Элиезер сказал, что это всё равно «прокладывает», то это тот случай, когда Элиезер делает эквивалент заявлений о «капитализме, ответственном за все мировые проблемы». У них нет опыта использования действительно полезных, действительно глубоких обобщений, распространяющихся на неочевидные штуки. И, на самом деле, способность использовать некоторые обобщения такого вида дала мне многие из моих знаний, в том числе и полученных самостоятельно, до споров с другими людьми. Так что попытки передать источник этих знаний ощущаются обречёнными. Это тот тип идей, которые наша цивилизация упустила, как и тот класс в колледже, про который рассказывал Фейнман.

[Soares][12:19]  Мои собственные ощущения (отсутствовал примерно 20 минут) – что одно из корневых разногласий тут «возможно ли что не-страшное мышление сможет закончить период острого риска» или, может, «следует ли нам ожидать длинного периода до-страшного мышления, которое мы сможем изучать и учиться согласовывать так, чтобы подготовиться согласовать страшное, когда оно появится».

[Ngo][12:19]  Некоторые потенциальные затравки для этого: — Какие страшные штуки могут заставить правительства воспринять ИИ серьёзнее, чем они восприняли ковид, и могут произойти до СИИ? — Насколько в твоей модели компетенция правительств является узким местом? И насколько различаются в этом отношении, скажем, США и Китай?

[Soares][12:20]  Мне немного кажется, что осталось ещё что сказать по поводу «может быть ЭЮ просто неправ про применимость аргументов о консеквенциализме», и я буду рад попробовать высказать немного кажется ещё недостаточно высказанных аргументов с этой стороны.

[Yudkowsky][12:21]  А мне ещё казалось – может, ошибочно, что у РН есть конкретные идеи о том, как «консеквенциализм» может быть неприменим. Хотя может я случайно отверг их по ходу дела, если идея была «ну, а что, если я не знаю, что такое консеквенциализм?» и я объяснял про то, что рефлексивность не требуется для обобщения консеквенциализма. Но если так, то хорошо было бы, чтобы РН явно сказал об этом, а если нет, то про конкретную неотвергнутую идею.

[Ngo][12:23]  Моё возражение было не в этом, но некоторые конкретные опровержения, о которых можно сказать, есть. И я буду рад, если Нейт попробует высказать упомянутые им аргументы.

[Yudkowsky][12:23]  У меня есть общее беспокойство, что это обсуждение станет слишком обобщённым, и что было бы полезнее, даже для общего понимания, начать с конкретных идей и конкретных их опровержений. [Ngo: 👍]

[Ngo][12:26]  Ещё, думаю, было бы полезно, если бы ты высказал какие-нибудь свои убеждения о том, как государства будут реагировать на ИИ, в педагогических целях. Я думаю, что у меня есть грубое представление о том, какие это убеждения, но даже если я прав, не все, кто будет это читать, тоже их имеют.

[Yudkowsky][12:28]  Откуда бы мне это знать? Я могу рассказать про слабые предположения по умолчанию, и пройтись по нескончаемому списку возможностей. Думать, что Элиезер думает, что знает это с хорошей степенью точности – ощущается, будто меня недооценивают!

[Ngo][12:28]  Я не заявляю, что у тебя есть конкретные убеждения

[Yudkowsky][12:29]  Предполагаю, я скептически отношусь к мечтам других о проработанных позитивных и выгодных реакциях, они явно относятся к какой-то альтернативной политически приятной вселенной, в которой была совершенно другая реакция на Covid-19, и всякое такое.

[Ngo][12:29]  Предполагаю, что твои модели отвергают, в частности, глубокую кооперацию США и Китая в области ИИ до того, как он приведёт к каким-нибудь бедствиям

[Yudkowsky][12:30]  «Глубокую»? Конечно. Это звучит как что-то, что никогда не происходило, и я в целом скептически отношусь к политическим штукам, которые пройдут лучше, чем все политические штуки, когда-либо происходившие. Полагаю, можно об этом поговорить? Это не кажется самой продуктивной областью, но, может быть, это приведёт нас к более техническим разногласиям, ведь мы не согласны по поводу того, что СИИ надо на самом деле сделать, чтобы не было конца света.

[Soares][12:31]  Круто. Я заявляю, что время для перерыва, а потом маленького обзора-реакций-государств от Элиезера, за которым последуют конкретные идеи про может-беспокойства-основанные-на-консеквенциализме-на-самом-деле-не-проблема от Ричарда. [Ngo: 👍]

[Yudkowsky][12:32]  Увидимся через 28 минут

5.3. Эпистемология и оценка идеи ожидаемой полезности

[Ngo][13:03]  Некоторые мои нынешние мысли – это повторение старого отчаяния: я ощущаю, что типичный Другой в сообществе Эффективного Альтруизма не имеет опыта с исследованием неожиданного порядка, с использованием обобщений, от которых можно ожидать, что они распространятся на новые случаи, хоть это не очевидно сразу же, с замечанием простых много обобщающихся структур и с тем, чтобы всё это было настоящим полезным техническим опытом; вместо того, чтобы кто-то не-ограничивающим-ожидания способом болтал о том, как «капитализм ответственен за всё, что неправильно в мире», распространяя это на всё подряд. Я мог бы попытаться использовать куда более простой язык в надежде, что люди действительно посмотрят-на-воду в стиле Фейнмана, в духе «прокладывания пути через время» вместо Консеквенциализма, который сам по себе уже шаг вниз от Ожидаемой Полезности. Но ты действительно теряешь что-то, когда выкидываешь более технический концепт. А потом люди всё равно либо думают, что ты с первого взгляда видишь, как что-то подходит под «прокладывание путей через время», либо что это что-то, что люди делают только явно, когда визуализируют пути через время с использованием именно этой терминологии, либо, если Элиезер сказал, что это всё равно «прокладывает», то это тот случай, когда Элиезер делает эквивалент заявлений о «капитализме, ответственном за все мировые проблемы». У них нет опыта использования действительно полезных, действительно глубоких обобщений, распространяющихся на неочевидные штуки. И, на самом деле, способность использовать некоторые обобщения такого вида дала мне многие из моих знаний, в том числе и полученных самостоятельно, до споров с другими людьми. Так что попытки передать источник этих знаний ощущаются обречёнными. Это тот тип идей, которые наша цивилизация упустила, как и тот класс в колледже, про который рассказывал Фейнман. Ууупс, не увидел этого комментария раньше. Про исследование неожиданного порядка: кажется относящейся к делу степень, в которой этот порядок обладает прогнозирующей силой. В какой степени ты ожидаешь, что успех предсказаний в экономике является важным свидетельством того, что теория ожидаемой полезности – мощная формализация? (Или есть другие значимо свидетельствующие пути, которыми она полезна для прогнозирования?) Я был бы рад быстрому ответу на это, а потом по геополитике, вот затравка для начала: — Если единственными двумя действующими лицами, вовлечёнными в разработку СИИ были бы государства США и Великобритании, насколько в большей (или меньшей) безопасности ты думаешь мы бы были в сравнении с миром, где действующие лица – это государства США и Китая. Как насчёт мира, где США на десятилетие опережает всех остальных в отношении достижения СИИ?

[Yudkowsky][13:06]  Я думаю, что программа Аполлон – куда более глубокое свидетельство за Полезность. Смотрите, если обучить мешки с белками бегать по саванне, они ещё и до луны доберутся! Если ты думаешь, что «полезность» – это что-то из человеческой дисциплины «экономики», то ты всё ещё думаешь о ней в намного-намного более узком смысле, чем я.

[Ngo][13:07]  Я не спрашиваю о свидетельствах за полезность как за абстракцию в целом, я спрашиваю о свидетельствах, основанных на успешных предсказаниях, сделанных с её использованием.

[Yudkowsky][13:10]  Этого не особо много происходит, потому что её глубокие предсказания покрыты менее глубокими предсказаниями, сделанными раньше. Рассмотрим следующее предсказание эволюционной психологии: люди будут получать удовольствие от действий, ассоциированных с размножением! «Что?», – говорит Симплицио, «Ты имеешь в виду, вроде как принаряжаться к свиданиям? Мне не нравится эта часть.» «Нет, ты перемудриваешь, мы про оргазмы», – говорит эволюционный психолог. «Но я уже знал это, это просто здравый смысл!» – отвечает Симплицио. «И всё же это очень конкретное предсказание эволюционной психологии, которое конкретно не выдаёт никакая другая теория человеческого разума», – отвечает эволюционный психолог. «Не предсказание заранее, просто наблюдение, слишком очевидно», отвечает Симплицио.

[Ngo][13:11]  Агаа, соглашусь, что большинство предсказаний не будут новыми. Но эволюция – это весьма мощная теория, из которой люди всё же вытащили много новых предсказаний. Поскольку ты заявляешь, что ожидаемая полезность – тоже очень мощная, нам следует ожидать, что она тоже предоставит нам какие-нибудь значительные предсказания.

[Yudkowsky][13:12]  Если ты обучишь ИИ, по умолчанию большую стопку слоёв (хотя это может быть не лучшим способом), до той степени, чтобы он смог решать много новых задач, то ИИ будет склонен ставить оценки аспектам исходов, взвешивать разные возможные пути через время и использовать (по умолчанию, наверное, грубые) произведения этих оценок и весов, чтобы определить, как распределить конечные ресурсы между взаимно конфликтующими планами. Это, я полагаю, сделанное заранее при помощи Полезности предсказание.

[Ngo][13:13]  Опять же, хочется свидетельств в форме уже успешных предсказаний.

[Yudkowsky][13:14]  Я предсказываю, что люди будут хотеть одни штуки больше, чем другие, считать, что некоторые возможности вероятнее других, и предпочитать делать то, что ведёт к тому, что они больше хотят, через возможности, которые они считают очень вероятными!

[Ngo][13:15]  По мне, было бы очень странно, если бы теория, которая делает такие сильные заявления о вещах, которые мы ещё не можем проверить, не могла пролить свет на что-нибудь, что мы можем проверить.

[Yudkowsky][13:15]  Если ты думаешь, что я вывожу мои предсказания катастрофического провала согласования из чего-то более экзотического, чем это, то ты упускаешь причину, почему я настолько обеспокоен. Сложных экзотических допущений тут не требуется. Теория делает такие же заявления о том, что мы пока не можем проверить, как и о том, что мы можем проверить прямо сейчас.

[Ngo][13:16]  Но это очень просто! Любая теория так может.

[Yudkowsky][13:17]  К примеру, если кто-то хочет денег, а ты установишь правило, предотвращающее получение денег этим кем-то, то теория предсказывает, что этот человек будет искать новые пути получения денег в обход правила.

[Ngo][13:17]  И да, конечно, то, что теория подходит под существующие данные – важное свидетельство в её пользу

[Yudkowsky][13:17]  Но это очень просто! Любая теория так может. Неверно! Любая теория так может в руках подверженного ошибкам агента, неправильно выводящего из неё предсказания.

[Ngo][13:18]  Ну да. Но вся суть в вопросе, правильны или неправильны предсказания, которые ты выводишь из теории.

[Yudkowsky][13:18]  Не каждая теория одинаково хороша в предсказании прошлого, если предсказания правильно выводятся. Возвращаясь к аналогии с эволюционной психологией, что ты сделаешь, если кто-то не видит, что оргазмы со всей очевидностью предсказываются конкретно эволюционной теорией, ведь это «здравый смысл» и «не сделанное заранее предсказание»? Можно в таком случае, затратив намного больше сил, вывести более детальные сделанные заранее предсказания о степени желания, сильно коррелирующей с выгодами приспособленности. Но это не убедит никого, кто проглядел по-настоящему простое и очевидное изначальное свидетельство. Здесь легко не заметить альтернативные варианты, то, как вселенная могла бы легко выглядеть по-другому, если бы эволюционное происхождение психологии было ложным: с чего бы организмам хотеть штук, ассоциированных с размножением, почему  не штук, ассоциированных со скатыванием с холмов? Схожим образом, если достаточно сильная оптимизация сложного процесса под результаты не производит когнитивные процессы, прокладывающие пути сквозь время и выбирающие действия исходя из предпочитаемых исходов, то люди… не думали бы таким образом? Что я могу тут ещё сказать?

[Ngo][13:24]  Давай так. Есть некоторые ловушки, в которые люди исторически были очень склонны попадаться. К примеру, увидев теорию, которая кажется очень красиво и элегантно подходящей под все уже собранные данные, очень легко сильно переоценить, насколько эти данные благоволят этой теории. К счастью, у науки есть очень мощная социальная техника избегания этого (т.е. фальсифицируемые предсказания), которая кажется приблизительно единственным надёжным способом этого избегать. И всё же ты кажешься совсем не обеспокоенным недостатком применения этой техники к твоей теории ожидаемой полезности.

[Yudkowsky][13:25]  Я говорил на эту тему в Цепочках, в точности потому, что «ну, эта теория не выдала пока что достаточно хорошего предсказания заранее» – это оправдание, которое люди используют, чтобы отвергнуть эволюционную психологию, некоторые другие штуки, про которые я рассказывал в Цепочках, и некоторые очень предсказуемые смертельные опасности СИИ.

[Ngo][13:26]  В отношении эволюционной психологии: да, есть простые очевидные примеры того, как она помогает объяснить доступные нам данные. Но также многие неправильно или слишком далеко применяли эволюционную психологию, и очень сложно их отличить, не попросив их сделать предсказание заранее.

[Yudkowsky][13:26]  Я говорил о плюсах и минусах таких рассуждений, и о лежащих в основе законах эпистемологии, которые проясняют, что агент, рассуждающий без искажений, может так делать без малейших заминок. В случае теории «люди хотят разных вещей по-разному сильно, предсказывают разные события в разной степени, и комбинируют одно с другим для выбора действий», какого вида предсказания заранее, которое не могла бы сделать никакая другая теория, ты ожидаешь? В мирах, где она верна, как она должна тебе это продемонстрировать?

[Ngo][13:28]  Я ожидаю, что глубокие теории делают больше предсказаний и более сильные. Я сейчас довольно неуверен, глубока или поверхностна теория ожидаемой полезности. Но глубокие теории склонны проливать свет на множество неожиданных мест.

[Yudkowsky][13:30]  По факту, когда речь идёт о СИИ, наш набор данных об обобщённых оптимизирующих процессах включает всего две полноценные точки: естественный отбор и люди. Так что ты можешь либо попытаться корректно рассуждать о том, какие теории что предсказывают про естественный отбор и людей, хоть мы их уже и наблюдали, либо очень скромно сдаться и на самом деле использовать для своих предсказаний другие подразумевающиеся теории, будучи в них уверенным.

[Ngo][13:30]  Я говорил о плюсах и минусах таких рассуждений, и о лежащих в основе законах эпистемологии, которые проясняют, что агент, рассуждающий без искажений, может так делать без малейших заминок. Я знаком с твоими текстами про это, потому я тут и удивлён. Я могу понять точку зрения «да, к сожалению, тут нет сделанных заранее предсказаний, это слабое место, хотелось бы, чтобы больше людей этим занималось, чтобы мы могли лучше понять эту жизненно важную теорию.» Но это, кажется, сильно отличается от твоей позиции.

[Yudkowsky][13:32]  О, я бы хотел делать предсказания с помощью теории, которая уже сделала супер-подробные сделанные заранее предсказания, которые не могла бы любая другая, и которые были подтверждены подробными экспериментальными наблюдениями! Ещё я бы хотел десять миллиардов долларов, правительство, которое бы верило всему, что я им честно говорил про СИИ, и препарат, повышающий IQ на 20 пунктов.

[Ngo][13:32]  Сам факт того, что у нас есть всего два примера – это в точности причина, почему таким большим упущением кажется, что теория, претендующая на описание интеллектуальной агентности, не была использована для успешных предсказаний об этих данных.

[Yudkowsky][13:32][13:33]  Это склоняет меня к мысли, что ты представляешь теорию как что-то куда более сложное и узкое, чем на самом деле. Просто смотри на воду. Не очень специальную воду с индексом преломления. Просто обычную воду. Люди хотят штук. Они хотят чего-то больше, чем чего-то другого. Когда они что-то делают, они ожидают, что что-то произойдёт.

Это предсказания теории. Не сделанные заранее, но всё же предсказания.

[Ngo][13:33][13:33]  Я согласен с твоей посылкой, что это нечто глубокое и фундаментальное, и заявляю, что глубокие фундаментальные теории склонны иметь широкие диапазон приложений, включая те, о которых раньше не думали.

Ты не согласен с этим заявлением в целом?

[Yudkowsky][13:36]  Я не знаю, что ты на самом деле имеешь в виду под «глубокой фундаментальной теорией» и «широким диапазоном приложений, включая те, о которых раньше не думали», особенно когда это касается таких простых структур. Звучит будто ты всё ещё представляешь что-то, что я имею в виду под Ожидаемой Полезностью, как некую узкую очень специфическую теорию про конкретный набор механизмов, появляющихся много где. Числа – это глубокая фундаментальная теория? Сложение – это глубокая фундаментальная теория? Вероятность – это глубокая фундаментальная теория? Понятие синтаксическо-семантического соответствия в логике и понятие обобщённо семантически правильного шага рассуждений – глубокая фундаментальная теория?

[Ngo][13:38]  Да по первым трём, все они привели к очень успешным новым предсказаниям.

[Yudkowsky][13:38]  Можно пример нового предсказания, выведенного из понятия вероятности?

[Ngo][13:38]  Большинство приложений центральной предельной теоремы.

[Yudkowsky][13:39]  Тогда мне стоит заявить, что все оптимизационные алгоритмы, использующие ожидаемую полезность, являются успешными сделанными заранее предсказаниями, выведенными из ожидаемой полезности? Оптимальный момент остановки, и всё прочее? Мне это кажется дешёвым и некорректным, и не вполне ясно, возникнут ли такие штуки внутри СИИ, но если это то, что ты хочешь, то вот.

[Ngo][13:39]  Это предсказания теории. Не сделанные заранее, но всё же предсказания. Соглашусь, что это предсказания. И всё же бывали случаи, когда люди умнее нас обоих невероятно ошибались в том, насколько хорошо теория подходит под заранее собранные данные. (Признаю, у нас есть преимущества, которых не было у них – вроде лучшего понимания когнитивных искажений – но кажется, ты игнорируешь возможность того, что они на нас влияют, что в основном отменяет эти преимущества.)

[Yudkowsky][13:42]  Я их не игнорирую, просто подправляю свои уровни уверенности и иду дальше, вместо застревания в бесконечной эпистемической ловушке самосомнения. Я не живу в мире, где либо у тебя есть детальные сделанные заранее экспериментальные предсказания, которые должны убедить самого скептически настроенного учёного и сделать тебя иммунным к всякой критике, либо, альтернативно, ты внезапно оказываешься за пределами всякого эпистемического авторитета, и обязан свернутся калачиком и полагаться только на невербальную интуицию и присваивать одинаковый вес тому, что произойдут хорошие штуки и плохие. Я живу в мире, где у меня будет очень сильная уверенность, если у меня есть детальная формальная теория, из которой выводятся детальные корректные сделанные заранее предсказания, а иначе хожу кругами и говорю «ну, это точно выглядит похоже на X, но можно и быть начеку в ожидании чуда». Если бы это было как термодинамика, то я бы так не говорил, и у нас не было бы этого спора. Я бы просто сказал: «О, это вечный двигатель. Ты не можешь его построить. Извини». И всё. В то же время, политические суперпрогнозисты вполне себе делают хорошо откалиброванные предсказания о куда более сомнительных и сложных материях, часто без чего-либо напоминающего ясно сформулированную и подробно изложенную теорию, тем более делающую конкретные предсказания, хотя бы задним числом. Они просто делают это вместо того, чтобы чувствовать себя беспомощными.

[Ngo][13:45]  Тогда мне стоит заявить, что все оптимизационные алгоритмы, использующие ожидаемую полезность, являются успешными сделанными заранее предсказаниями, выведенными из ожидаемой полезности? Оптимальный момент остановки, и всё прочее? Мне это кажется дешёвым и некорректным, и не вполне ясно, возникнут ли такие штуки внутри СИИ, но если это то, что ты хочешь, то вот. Это лучше чем ничего, но всё ещё не удовлетворяет меня, поскольку, я думаю, они относятся к более поверхностным свойствам теории. Хмм, я думаю, ты неправильно представляешь себе мою позицию. Я не выступаю за беспомощное сворачивание клубочком. Я просто замечаю, что это весьма большой предупреждающий знак, который часто был важным в прошлом, и, кажется будто ты не просто беспечно проезжаешь мимо него лишь ускоряясь, но будто ты ещё и отрицаешь само существование такой категории знаков.

[Yudkowsky][13:48]  Я думаю, ты имеешь в виду некие социальные реверансы, которыми я внутри себя не утруждаюсь, потому что считаю их бессмысленной тратой сил. Если я потерялся в лесу, я не буду бродить, громко рассуждая о том, как мне нужна теория леса, которая будет заранее делать детальные экспериментальные предсказания в контролируемых условиях, но у меня её нет, так что мне следует быть очень скромным. Я вместо этого постараюсь сообразить, где север. Когда у меня будет догадка о направлении на север, было бы ошибкой продолжать с той же уверенностью, как если бы у меня была детальная карта и определённое на неё местоположение.

[Ngo][13:49]  Поскольку я считаю, что мы менее заблудились, чем ты, слабости подразумевающей это теории леса относятся к нашей дискуссии.

[Yudkowsky][13:49]  Реверансы, которые я делаю в этом направлении, видимы в заявлениях вроде «Но это, конечно, предсказание о будущем, а всем известно, что его сложно на самом деле предсказать.» Если бы мои заявления были на тему термодинамики и масс частиц, то я бы не добавлял этот дисклеймер. Но большая часть жизни – не заявления о массах частиц. У меня есть некоторые идеи о том, что с этим делать. Мне не надо постоянно повторять дисклеймеры об этом самому себе. Я знаю, что делать, когда у меня есть лишь несколько точек данных, они уже наблюдались, и мои теории о них ретроспективны. Это происходит каждый день, к примеру, при взаимодействиях с людьми.

[Soares][13:50]  (Мне немного кажется, что мы ходим кругами. И что вы говорите не совсем об одном и том же.) (Предлагаю пятиминутный перерыв, и чтобы потом ЭЮ попробовал перефразировать позицию РН удовлетворяющим его способом, и наоборот.)

[Yudkowsky][13:51]  Мне будет сложнее, чем обычно, перефразировать РН, поскольку эпистемическая беспомощность – это что-то, что мне больно печатать.

[Soares][13:51]  (Я также буду рад сам попробовать перефразировать каждую позицию, как я их вижу; может быть, это сгладит неполадки разговора.)

[Ngo][13:52]  Кажется хорошим предложением. Также я буду рад перейти к следующей теме. Эта должна была быть быстрым прояснением.

[Soares][13:52]  киваю. Мне кажется, в ней, возможно, кроется немаленький мета-уровневый корень разногласия о том, какие заключения дозволено выводить из каких наблюдений что-то, например, может сужать оценки вероятностей Элиезера, но не Ричарда.

[Yudkowsky][13:52]  Ага, это противоположное направление от «больше конкретики». [Soares: 😝] [Ngo: 😆] Я откровенно думаю, что у большей части ЭА отстойно с явной эпистемологией. ЭА, связанные с OpenPhil и FHI не особо исключение, и я ожидаю, что в целом более перспективно отговаривать людей от конкретных ошибок, чем вытаскивать их из бездонной пропасти скромного невежества.

[Soares][13:54]  Ок, кажется, вы оба за переход дальше. Моё новое предложение – взять пятиминутный перерыв, перейти к следующей теме, и, наверное, я попробую перефразировать каждую позицию в своих заметках, и если в комментариях будет что-то происходить, то мы, может быть, потом вернёмся к этой теме. [Ngo: 👍]

[Ngo][13:54]  Говоря в общем, я тоже сильно против скромного невежества (хоть и в меньшей степени, чем ты).

[Yudkowsky][13:55]  Тогда отхожу на пять минут!

5.4. Государственная реакция и влияние на экономику

[Ngo][14:02]  Замечу на мета-уровне: подозреваю, что мы недалеко от убывания отдачи от этого формата. Я открыт к вложению большего времени в продвижение дебатов (в ввольно трактовке) вперёд, но, наверное, хотел бы немного подумать о потенциальных изменениях формата.

[Soares][14:04, moved two up in log]  Замечу на мета-уровне: подозреваю, что мы недалеко от убывания отдачи от этого формата. Я открыт к вложению большего времени в продвижение дебатов (в ввольно трактовке) вперёд, но, наверное, хотел бы немного подумать о потенциальных изменениях формата. (Отметил, спасибо!)

[Yudkowsky][14:03]  Я на самом деле думаю, что дело в том, что хотя бы одному из нас, включая Нейта, надо взять на себя неблагодарную работу прекращения отклонений на абстракции и мета-уровень.

[Ngo][14:05]  Я на самом деле думаю, что дело в том, что хотя бы одному из нас, включая Нейта, надо взять на себя неблагодарную работу прекращения отклонений на абстракции и мета-уровень. Не столь в этом уверен, кажется, на некоторых абстракциях много завязано.

[Yudkowsky][14:03][14:04]  В любом случае, перейдем к государственным реакциям? Мне кажется, что самым лучшим наблюдаемым случаем государственных реакций – подозреваю, не являющимся доступной возможностью в нашу эпоху – была степень кооперации между США и Советским Союзом в избегании обмена ядерными ударами. Это включало настолько невероятные экстравагантные акты кооперации как установка прямой линии между главами государств!

Это не то, что я на самом деле охарактеризовал бы как очень «глубокую» кооперацию, но это больше, чем то, что можно увидеть сегодня. Более того, и США и Советский Союз проактивно избегали делать что-либо, что могло начать путь, ведущий к полному обмену ядерными ударами.

[Ngo][14:04]  Вопрос, который я задавал раньше: — Если единственными двумя действующими лицами, вовлечёнными в разработку СИИ были бы государства США и Великобритании, насколько в большей (или меньшей) безопасности ты думаешь мы бы были в сравнении с миром, где действующие лица – это государства США и Китая. Как насчёт мира, где США на десятилетие опережает всех остальных в отношении достижения СИИ?

[Yudkowsky][14:05]  Они всё равно много друг друга провоцировали, но старались делать это так, чтобы это не привело к полному обмену ядерными ударами. Обе стороны принимали это как стратегический приоритет, и много людей с обеих сторон много думали о том, как этого избежать. Я не знаю, дошла ли эта степень кооперации хоть однажды до фантастической точки, в которой люди с обеих сторон сидели бы в одной комнате и вместе обдумывали бы, как избежать полного обмена ядерными ударами, потому что это было бы большей кооперацией, чем нормально ожидается от двух государств, но меня бы не шокировало, если бы я узнал, что так было. Мне кажется очевидным, что если бы сейчас выработалась такая же ситуация с увеличившейся явной возможностью обмена ядерными ударами между США и Россией, то мы бы сейчас не смогли сделать что-то вроде установки горячей линии между властями США и России, если бы она не была уже установлена. Это потерянная социальная технология из прошедшего золотого века. Но всё равно, не безумно взять это как верхнюю границу достижимой кооперации; это наблюдалось в последние сто лет. Другая догадка о том, как отреагируют государства, очень проста, устойчива и подкреплена огромным количеством наблюдений: Никак. Их подготовка и кооперация по поводу СИИ, пока никто не погиб, такая же, как была подготовка и кооперация по поводу ипотечного кризиса в 2007 до ипотечных дефолтов. Я не уверен, что поставлю на это вероятность больше 50%, но это точно самая большая вероятность из всех возможностей такой же низкой детализации. Я ожидаю, что кто угодно, имеющий много опыта взаимодействия с государством, и лишь побирающийся к нашей теме, и ещё не подцепивший странных экзотических взглядов, скажет тебе то же самое как очевидный факт.

[Ngo][14:10]  Но всё равно, не безумно взять это как верхнюю границу достижимой кооперации; это наблюдалось в последние сто лет. Это всё ещё будет твоей верхней границей при условии мира, испытавшего вековые изменения за десятилетие, и в котором люди на порядок богаче, чем сейчас? Я не уверен, что поставлю на это вероятность больше 50%, но это точно самая большая вероятность из всех возможностей такой же низкой детализации. Это про кого именно? США/Великобритания?

[Yudkowsky][14:12][14:14]  Предполагая, что государства отреагируют, мы получаем проблему «эвристика какого рода корректно привела бы нас к прогнозу, что реакцией США на большую пандемию будет запрет госпиталям от FDA делать собственные тесты на Ковид? Какой ментальный процесс мог бы нас привести к такому заявлению?» Мы не могли бы предсказать это в точности правильно, потому что будущее сложно прогнозировать; лучшая эвристика, которую я могу предложить, которая чувствуется как то, что кто-то, ею руководствующийся, как минимум не был бы удивлен тем, что на самом деле произошло – это «государство отреагирует с ошеломляющим уровнем некомпетентности, сделает в точности неправильные вещи непредсказуемым конкретным способом.» Это про кого именно? США/Великобритания? Я думаю, что если мы говорим об одном конкретном государстве вроде США или Великобритании, то с вероятностью выше 50% оно не сможет заранее скоординированно отреагировать на кризис СИИ в большей и более эффективной степени, чем «заранее скоординированно отреагировало» на пандемию до 2020 или на ипотечные дефолты до 2007.

Может, какие-то два государства где-то на Земле будут вести дискуссию на высоком уровне между двумя представителями власти.

[Ngo][14:14]  Это один из уроков, которые можно извлечь. Другим может быть то, что государства будут с готовностью ограничивать использование новых технологий, даже с колоссальными затратами, перед лицом даже маленького риска большого вреда.

[Yudkowsky][14:15]  Это один из уроков, которые можно извлечь. Другим может быть то, что государства будут с готовностью ограничивать использование новых технологий, даже с колоссальными затратами, перед лицом даже маленького риска большого вреда. Я просто… не знаю, что делать, когда люди так говорят. Это так абсурдно, абсурдно оптимистично. Это взять большой-большой провал и попытаться найти в точности такое абстрактное толкование, чтобы выставить его как что-то, звучащее как в точности правильная идеальная вещь для следующего раза. Это просто – не как надо понимать реальность. Это не как думают суперпрогнозисты. Это безумно.

[Soares][14:16]  (осторожнее с переходом на личности) (Ричард мог не делать ту безумную штуку, которую ты представляешь, чтобы сгенерировать эту сентенцию, и т.д.)

[Ngo][14:17]  Верно, я не принимаю это как моё предсказание основного сценария. В основном, я подсвечиваю, что твой взгляд кажется похожим на специальный отбор пессимистичных интерпретаций.

[Yudkowsky][14:18]  Это абстрактное описание «государства будут с готовностью ограничивать использование новых технологий, даже с колоссальными затратами, перед лицом даже маленького риска большого вреда» на самом деле толком не применимо к запрету госпиталям от FDA использовать их собственные хорошо зарекомендовавшие себя вирусные тесты из-за риска, что некоторые тесты выдадут неверные результаты, когда тесты CDC выдавали неверные результаты, а куда больший вред был из-за бутылочного горлышка тестирования. И это абстрактное описание должно было быть применимо к эффективному глобально скоординированному запрету на исследования усиления функций, которого не произошло.

[Ngo][14:19]  Альтернативно: что бы привело нас к прогнозированию того, что много стран введут беспрецедентно суровые локдауны.

[Yudkowsky][14:19][14:21][14:21]  Ну, я этого не предполагал! Я даже не осознавал, что это возможно! Я думал, Ковид просто пронесётся по всем. (И, для ясности, он всё ещё может, и можно посчитать, что Дельта это и делает в наиболее примитивно-племенных областях США, как и по всему миру во многих других странах, которые не могут позволить себе вакцины финансово, а не эпистемически.)

Но тут есть совсем-совсем базовый урок про разницу стиля «утверждений из исторических книг про политику» и «утверждений людей, представляющих, как будущие политики успешно с чем-то справятся».

Реальность намного хуже представлений людей о том, как будут успешно решаться проблемы.

[Ngo][14:21][14:21][14:22]  Я, пожалуй, подтолкну нас в сторону от ковида и поближе к ранее заданным вопросам:

Если единственными двумя действующими лицами, вовлечёнными в разработку СИИ были бы государства США и Великобритании, насколько в большей (или меньшей) безопасности ты думаешь мы бы были в сравнении с миром, где действующие лица – это государства США и Китая. Как насчёт мира, где США на десятилетие опережает всех остальных в отношении достижения СИИ? Вот этому.

Это всё ещё будет твоей верхней границей при условии мира, испытавшего вековые изменения за десятилетие, и в котором люди на порядок богаче, чем сейчас? И вот этому.

[Yudkowsky][14:22]  Это всё ещё будет твоей верхней границей при условии мира, испытавшего вековые изменения за десятилетие, и в котором люди на порядок богаче, чем сейчас? Я не ожидаю, что это вообще произойдёт, или даже будет близко к тому, чтобы произойти; я ожидаю, что СИИ всех убьёт до того, как будут коммерциализированы беспилотные автомобили.

[Yudkowsky][16:29]  (Nov. 14 follow-up comment)  (Это было выложено неосторожно; лучше вместо «ожидаю» читать «не был бы ни в малейшей степени удивлён, если» или «очень ориентировочно предполагаю, что».)

[Ngo][14:23]  А, вижу. Окей, может, тут стоит подходить по-другому. Какая самая впечатляющая технология, которая по твоим ожиданиям будет коммерциализована до того, как СИИ всех убьёт?

[Yudkowsky][14:24]  Если единственными двумя действующими лицами, вовлечёнными в разработку СИИ были бы государства США и Великобритании, насколько в большей (или меньшей) безопасности ты думаешь мы бы были в сравнении с миром, где действующие лица – это государства США и Китая. Очень сложно сказать; Великобритания дружественнее, но менее взрослая. Мы, очевидно, были бы в ГОРАЗДО большей безопасности в любом мире, где только два централизованных действующих лица (два эффективных процесса принятия решений) имеют возможность создать СИИ, хотя и не спасены / не с вероятностью выживания больше 50%. Как насчёт мира, где США на десятилетие опережает всех остальных в отношении достижения СИИ? Намного безопаснее и так же невозможно чудесно, хотя опять же не спасены / не близки к 50% вероятности выживания. Какая самая впечатляющая технология, которая по твоим ожиданиям будет коммерциализована до того, как СИИ всех убьёт? Это невероятно сложно предсказать. Если бы мне было надо зачем-то это предсказать, я бы, наверное, поговорил с Gwern и Карлом Шульманом. В принципе, ничего не мешало мне узнать что-то про го, что привело бы меня в 2014 к предсказанию, что го скорее всего одолеют в ближайшие два года, но на практике я это не предсказывал, и не припоминаю, чтобы кто-то предсказывал. По-настоящему тяжело определить, насколько много когнитивной работы требует область и насколько уже известные технологии ИИ могут масштабироваться с большими вычислительными мощностями, а уж тем более тяжело предсказать прорывы в ИИ.

[Ngo][14:27]  Буду рад каким-нибудь очень грубым догадкам

[Yudkowsky][14:27]  Если хочешь, чтобы я выдал научно-фантастический сценарий, то я не был бы удивлён онлайновым анимешным компаньонам, поддерживающим впечатляюще человечные разговоры, потому что это такой вид технологии, который можно развернуть без участия крупнейших корпораций или одобрения регулирующих органов.

[Ngo][14:28]  Окей, это удивительно; я ожидал чего-то более продвинутого.

[Yudkowsky][14:29]  По некоторым метрикам можно посчитать AlphaFold 2 чем-то уже более продвинутым, но вовсе не совпадение что, насколько мне известно, с AlphaFold 2 пока многого не сделали, и он не оказал видимого влияния на ВВП. Более общий способ это выложить: я ожидаю, что ВВП не отклонится от предшествующих трендов до конца света.

[Ngo][14:29]  Какую самую наименее впечатляющую технологию, появление которой до того, как СИИ всех нас убьёт, отвергает твоя модель?

[Yudkowsky][14:30]  В смысле наименее впечатляющую?

[Ngo][14:30]  Уупс, да Это кажется структурно более простым вопросом

[Yudkowsky][14:30]  «Самая впечатляющая» — тривиально. «Сфера Дайсона» подойдёт. Или, тогда уж, «вечный двигатель».

[Ngo][14:31]  А, да, я думал, что сфера Дайсона немного слишком прозаична

[Yudkowsky][14:32]  Моя модель в основном отвергает, что мы дойдём до некоторой точки, а потом будет там топтаться 10 лет, пока технология будет совершенствоваться, коммерциализироваться, одобряться, приниматься, распространяться настолько, чтобы привести к видимому отклонению на графике ВВП. Не особо отвергает изначальные демонстрации технологий в лаборатории. Я ожидаю, что люди, создающие СИИ, могут создать беспилотный автомобиль, если хотят. Получить одобрение и развернуть их до конца света – совсем другое дело.

[Ngo][14:33]  OpenAI коммерциализировали GPT-3

[Yudkowsky][14:33]  Пока не привело к особому скачку ВВП.

[Ngo][14:33]  Этого я всё же не просил Мне более интересно посмотреть, насколько сложно по твоему мнению для ИИ захватить мир

[Yudkowsky][14:34]  Я замечу, что мне кажется, что тут явно тот же тип рассуждений, который, если ему дать информацию о GPT-3 пять лет назад, привёл бы к очень серьёзным рассуждениям о том, насколько такая технология можно поспорить предсказуемо сдвинет ВВП. Под «захватить мир» ты имеешь в виду «превратить мир в скрепки» или «предоставить ВВП на 10% выше ожидаемого тренда»?

[Ngo][14:35]  Превратить мир в скрепки

[Yudkowsky][14:36]  Я ожидаю это в основном как результат суперинтеллекта, который на порядки выше минимальных требуемых когнитивным способностей, чтобы делать полезную работу? Интересный вопрос был бы о людях, пытающихся развернуть исправимый СИИ, думающий в ограниченной области, пытающихся перевернуть игровую доску / «захватить мир» без полноценного суперинтеллекта? А тут я на самом деле не уверен, чего ты пытаешься добиться.

[Soares][14:37]  (моя догадка, для записи, что корневая штука, к которой ведёт Ричард тут скорее около чего-то вроде «будет ли у человечества прилично времени в режиме, когда существуют системы, способные сильно увеличить мировой ВВП, и если нет, то как ты можешь быть сейчас в этом уверен»)

[Yudkowsky][14:38]  Это не та штука, в которой я чувствую себя Уверенным.

[Yudkowsky][16:31]  (Nov. 14 follow-up comment)  (Моя уверенность тут кажется заниженной. Я был бы очень приятно удивлён, если бы мы провели пять лет с системами, которые могут сильно увеличить мировой ВВП и реально использовались бы для этого. Нет категорических принципов, запрещающих это, так что я не Уверен, но это требует, чтобы некоторое количество событий прошло не так, как я ожидаю.)

[Ngo][14:38]  Ага, это примерно то, к чему я шёл. Или вот другой способ сказать это: у нас есть некоторое несогласие о вероятности того, что люди смогут заставить ИИ совершить поворотное действие, которое спасёт мир. Так что я пытаюсь получить какие-нибудь оценки того, какое сложнейшее действие по твоему мнению люди могут заставить ИИ сделать.

[Soares][14:39]  (и разница в этих оценках – причина, например, того, что Ричард подозревает, что перед относящейся к делу геополитикой успеет случиться вековой прогресс за 10 лет, все успеют внезапно стать намного богаче, и успеют случиться парочка предупредительных выстрелов, тогда как Элиезер ожидает, что относящаяся к делу геополитика случится примерно послезавтра, и мы получим «реалистичное человеческое взаимодействие» вместо предупреждений.) [Ngo: 👍]

[Yudkowsky][14:40]  Я в целом не ожидаю, что у нас будет промежуток времени с псевдо-могущественным, но не-масштабируемым ИИ, способным увеличить ВВП. Но если это произойдёт, то не думаю, что я буду орать на реальность «что происходит?», поскольку для такого события есть очевидный путь: что-то увеличивающее ВВП оказалось достижимым для не-глубоко-обобщённых ИИ-систем. Где GPT-3 — «не глубоко обобщённая»

[Ngo][14:40]  Ещё раз, я не спрашивал про увеличение ВВП, я спрашивал про впечатляющие достижения (чтобы отделить эффекты способностей ИИ от эффектов регулирования, обладания-но-не-использования-ИИ, и т.д.). Ты можешь использовать любую метрику впечатляемости, какую считаешь осмысленной.

[Yudkowsky][14:42]  Так тут два вопроса, один из них – это что-то вроде «что самое впечатляющее ты можешь сделать в пределах возможностей согласования и исправимости?», а другой «если представить неисправимый ИИ, чьи возможности выставляются дураками напоказ, что впечатляющее он может совершить перед тем, как уничтожит мир?». И обе задачи сложны по той же причине, по которой я в 2014 не предсказал, что го одолеют в 2016; на самом деле довольно сложно – даже в столь упорядоченной и известной области как го – определить, какие задачи одолеются каким уровнем когнитивных способностей.

[Soares][14:43]  Попытка пересказа Нейта: модель ЭЮ может быть не уверена в больших скачках ВВП, но кажется довольно уверенной в том, что нет некоего «полу-способного» промежутка между поверхностными-запоминальщиками-паттернов и страшными-лазерными-консеквенциалистами, и в частности Элиезер кажется уверенным, что человечество не будет медленно пересекать этот участок способностей

[Yudkowsky][14:43]  Это… дозволено? Я не буду орать на реальность, если это произойдёт?

[Soares][14:44]  И (неуверенная экстраполяция), в этом участке лежат некоторые надежды Ричарда (например, что в его начале мы научимся практическому согласованию, и ещё что мир может быть можно спасти по мере прохождения этого участка с использованием не-лазерных систем) [Ngo: 👍]

[Yudkowsky][14:45]  Вот пример штуки, про которую я не думаю, что ты можешь её сделать, не устроив конец света: заставить ИИ создать наносистему или биосистему, которая может синтезировать две ягоды земляники, идентичные на клеточном, но не на молекулярном уровне, и положить их на тарелку Поэтому я использую эту способность как определение «мощного ИИ», когда говорю о том, что «мощные ИИ» сложно согласовать, если мне не хочется начинать в явном виде спорить про поворотные действия. Это, я думаю, впервые будет достижимо с использованием лазерной закачивающей-мир системы Так что даже если есть способ сделать это без неё, это будет позже, и миру уже успеет настать конец.

[Ngo][14:47]  Окей, это полезно.

[Yudkowsky][14:48]  Ощущается, что критическая планка тут какая-то вроде «изобрести целую инженерную дисциплину в области, где ты не можешь запускать много полностью детализированных дешёвых симуляций»

[Ngo][14:49]  (Мета-замечание: свернёмся через 10 минут? Я становлюсь сонным.) [Yudkowsky: 👍] [Soares: 👍] Кажется вполне осмысленной планкой Давайте подумаю, куда отправиться теперь А пока что, раз вопрос скорости взлёта кажется важным, интересно будет, если вы укажете на свои наибольшие несогласия с этим постом: https://sideways-view.com/2018/02/24/takeoff-speeds/

[Yudkowsky][14:51]  О, ещё про научно-фантастические возможности, я могу представить себе пятипроцентное падение ВВП, поскольку текстовые трансформеры успешно домасштабируются до автоматического заполнения судебных исков и экологических протестов. Моё видение современного мира в целом таково, что ВВП в первую очередь ограничен бюрократическим склерозом, а не тем, где лежит технологический фронтир, так что ИИ будет влиять на ВВП в основном постольку, поскольку он будет открывать новые способы обходить ограничения регулирования, а не новые технологические способности. Я ожидаю внезапного перехода к скрепкам не только из-за быстрого роста когнитивной мощности, но и потому, что наномашины, съедающие биосферу, обходят ограничения регулирования, а более ранние фазы ИИ будут иметь не такое уж преимущество над всеми теми технологически возможными, но нелегальными штуками.

[Shah][12:13]  (Sep. 21 follow-up comment)  Моё видение современного мира в целом таково, что ВВП в первую очередь ограничен бюрократическим склерозом, а не тем, где лежит технологический фронтир Это разумное замечание, оно несколько сдвинуло мои убеждения в сторону быстрого взлёта, как его определяет Пол, хотя я не уверен, насколько оно сдвинуло мою p(погибели). А, погоди, за по-настоящему быстрым взлёт по Полу не имеет смысла так следить – предположительно мы погибнем до первого удвоения за 1 год. Неважно, это сдвинуло меня куда-то в сторону «меньше развёрнутых штук до страшных штук»

[Ngo][14:56]  А, интересно. Можно два-три главных примера из этой категории?

[Yudkowsky][14:57]  mRNA вакцины, строить дома, строить города? Не уверен, что ты имеешь в виду.

[Ngo][14:57]  «технологически возможные, но нелегальные штуки»

[Yudkowsky][14:58][15:00]  Например, можно представить: «если ИИ будет достаточно умным, чтобы строить дома, не поднимет ли это ВВП?» и ответом будет то, что у нас уже есть чистая дешёвая технология для этого, но индустрия не-модульного строительства уже успешно лоббировала различные ограничение, по факту запретив её, когда она начала развиваться. Так что вопрос не «есть ли у ИИ преимущество в этом?», а «есть ли у ИИ преимущество в обходе ограничений регуляции в этой области?» И это не упоминая прочие препятствия – то, что построить дом в существующем городе нелегально, и как затруднено основание нового города, и так далее.

«Что если бы ИИ мог спроектировать новую вакцину за день?» Мы уже можем. Это не значимое ограничение. Процесс ограничен бюрократией. Мне – после того, как я посмотрел на эссе от Sideway View про скорость взлёта – интересно, пришло ли тебе, Ричард, в голову спросить, какие детальные предсказания выдали их теории. В конце концов, там в основном как раз объясняют, почему от их теорий не следует ожидать объяснений даже имеющихся у нас данных о темпах прогресса эволюции гоминидов. Уж точно ты, будучи таким беспристрастным судьёй, читал это всё время приговаривая «Боже мой, это даже хуже, чем пара точек данных, объяснённая задним числом!» Часть причин, по которым я с подозрением отношусь к некоторым видам эпистемологической критики – это ощущение, что некоторые заявления склонны применяться невероятно выборочно.

[Ngo][14:59][15:06]  Некоторые мета-мысли: Мне теперь кажется, что у меня есть осмысленное приблизительное представление о взглядах Элиезера. Я пока не особо в чём-то переубедился, но, возможно, в основном потому, что у меня ещё не было времени вживить эти взгляды в себя; я ожидаю, что когда я над ними ещё поразмышляю, моё мнение сдвинется (не уверен, насколько далеко; вряд ли на большую часть расстояния между взгядами).

Мета-мысли (продолжение): Я не уверен, чем можно разрешить сильное несогласие, которое (наверное) останется после этого. Лучшая идея – что мне следует написать эссе подлиннее и попробовать в нем связать вместе отдельные мысли. Ближе к концу казалось, что корень разногласия в удивительной степени кроется в вопросе скорости взлёта. Так что ещё, кажется, может помочь, если Элиезер напишет более влинную версию своего ответа на пост Пола. (Просто быстрый комментарий, я не нахожу объяснение «бюрократического склероза» очень убедительным. Я согласен, что ограничения регулирования – огромная проблема, но они всё ещё не кажутся настолько суровыми, чтобы вызвать быстрый взлёт. Но у меня нет сильных аргументов в пользу этой позиции.)

[Soares][15:12]  Кажется подходящим моментом для окончания! Черновые заметки — У меня сложилось впечатление, что этот раунд был немного более фрустрирующим, чем предыдущие. Спасибо за придерживание темы 🙂 — Мне показалось, что пара заявлений Ричарда не была полноценно воспринята. Планирую попробовать самому сфоримулировать их версии в промежутке. — Ричард заметил, что ему кажется, что мы на территории уменьшающейся отдачи. Мне кажется, что стоит провести ещё как минимум одну дискуссию в таком формате про конкретные не-консеквенциалистские планы, на которые надеется Ричард, но я также думаю, что нам не стоит переть вперёд вопреки ощущению меньшей полезности, так что я открыт альтернативным предложениям. В частности, мне кажется правдоподобным, что стоит взять паузу на оффлайновые записи, для того, чтобы Ричард несколько переварил полученное и потом написал о своём новом состоянии, и/или чтобы Элиезер написал какие-нибудь ответы объектного уровня на приведённый выше пост про скорость взлёта? [Ngo: 👍] (Возможно, попробую это сделать и сам, либо из моей собственной модели, либо из модели Элиезера, которую он потом сможет скорректировать)

[Ngo][15:15]  Спасибо, Нейт! Одобряю идею оффлайновых записей

[Soares][15:17]  Круто. Тогда я заявляю, что мы на сегодня заканчиваем, и на Ричарде записи после переваривания, а на мне записи с попытками переформулировать некоторые штуки, и на Элиезере или на мне написать про скорости и всякое такое. (И мы можем скоординировать нашу следующую дискуссию, если она будет, по е-мейлу, когда записи будут готовы.)

[Yudkowsky][15:18]  Мне ещё кажется, что можно сказать больше всего конкретного про государственные штуки и про «способы обойти консеквенциализм», и я бы хотел, чтобы мы посвятили хотя бы ещё одну сессию обсуждению только конкретных деталей. Даже если корень разногласия не там, часто можно узнать про абстрактное больше, говоря про конкретное, чем про само абстрактное.

[Soares][15:22]  (Я тоже был бы рад увидеть такую дискуссию, и, Ричард, если ты тоже будешь рад, или хотя бы безразличен, то я с радостью помодерирую.)

[Yudkowsky][15:37]  (Я немного удивлён тем, как плохо я оставался конкретным после прямых заявений об этом, так что я бы попросил Нейта принять задачу в таких случаях строго одёргивать меня или нас обоих.)