Четыре фоновых утверждения

Это перевод текста Нейта Соареса 2015 года. (Оригинал)

***

Миссия MIRI – удостовериться, что создание искусственного интеллекта умнее человека приведёт к позитивным последствиям. Почему эта миссия важна и почему мы считаем, что для неё есть что делать уже сейчас?

В этом и в следующем посте я попробую ответить на эти вопросы. В этом я опишу четыре, по моему мнению, самые важные предпосылки, обосновывающие нашу миссию. Аналогично «Пяти Тезисам» Элиезера Юдковского и «Почему MIRI» Люка Мюльхаузера, это моя попытка явно описать утверждения, которые обычно подразумеваются при доказательстве критической важности нашего дела.

Утверждение #1: Люди обладают очень обобщённой способностью решать задачи и достигать целей в самых разных областях.

Мы называем эту способность «интеллектом» или «обобщённым интеллектом». Это не формальное определение – если бы мы точно знали, что такое обобщённый интеллект, то у нас бы лучше получалось запрограммировать его – но мы считаем, что обобщённый интеллект как явление действительно существует, пусть мы пока и не можем повторить его в коде.

Альтернативный взгляд: Обобщённого интеллекта не существует — вместо него у людей есть набор отдельных узкоспециализированных модулей. Компьютеры будут становиться лучше в определённых узких задачах, таких как шахматы и вождение автомобиля, но никогда не станут значительно более способными, достигнув «обобщённости», потому что достигать нечего. (Робин Хансон утверждал варианты этой позиции.)

Короткий ответ: В свете того, как люди осваивают области совершенно чуждые их предкам, гипотеза «отдельных модулей» кажется мне неправдоподобной. Я не заявляю, что обобщённость интеллекта – это какое-то нередуцируемое оккультное свойство; предположительно, она проистекает из набора когнитивных механизмов и их взаимодействий. Однако, в целом, это делает людей куда более когнитивно гибкими, чем, скажем, шимпанзе.

Почему это важно: Люди достигли доминирующей над другими видами позиции не за счёт большей силы или ловкости, а за счёт большего интеллекта. Раз некая ключевая часть этого обобщённого интеллекта смогла эволюционировать за несколько миллионов лет, прошедших с нашего последнего общего предка с шимпанзе, может существовать довольно небольшой список озарений, необходимых инженерам для создания мощного обобщённого ИИ.

Дальнейшее чтение: Саламон и пр. «Насколько интеллект понятен?»

Утверждение #2: ИИ может стать намного умнее людей.

Большинство исследователей в MIRI не уверены, когда будет разработан превосходящий человека ИИ. Мы, однако, ожидаем, что (а) искусственный интеллект, равный человеческому, однажды появится (вероятно, при отсутствии катастроф, в течении века); и (б) компьютеры могут стать значительно умнее любого человека.

Альтернативный взгляд #1: Мозг делает что-то особенное, что нельзя воссоздать на компьютере.

Короткий ответ: Мозги – это физические системы, и если верна определённая версия тезиса Чёрча-Тьюринга, то компьютеры могут в принципе воссоздать связь ввода и вывода любой физической системы. К тому же, заметим, что «интеллект» (в моём использовании термина) – это про способности решения задач: даже если есть какая-то специальная человеческая черта (как квалиа), которую нельзя воссоздать на компьютере, это не важно, если не мешает нам спроектировать систему, решающую задачи.

Альтернативный взгляд #2: Алгоритмы, лежащие в корне обобщённого интеллекта, настолько сложны и недоступны расшифровке, что люди не смогут запрограммировать что-то подобное ещё много веков.

Короткий ответ: Это звучит неправдоподобно с учётом эволюционных свидетельств. Род Homo отделился от других всего 2.8 миллиона лет назад, и прошедшего времени – всего мгновения с точки зрения естественного отбора – было достаточно для создания когнитивных преимуществ людей. Из этого можно заключить, что что бы не отделяло людей от менее интеллектуальных видов, оно не очень сложное: составные части обобщённого интеллекта должны присутствовать уже в шимпанзе.

На самом деле, относительно интеллектуальное поведение дельфинов позволяет предположить, что эти составные части скорее всего были уже у напоминающего мышь последнего общего предка людей и дельфинов. Можно заявить, что и на искусственный интеллект равный мышиному уйдёт много веков, но это утверждение становится крайне сомнительным, если посмотреть на быстрый прогресс в области ИИ. В свете эволюционных наблюдений и последней пары десятилетий исследований ИИ, похоже, что интеллект – это что-то, что мы сможем понять и запрограммировать.

Альтернативный взгляд #3: Люди уже находятся на пределе физически возможного интеллекта. Так что, хоть мы и сможем создать равные человеку машины, создать суперинтеллект не получится.

Короткий ответ: Было бы удивительно, если бы человеческий разум был совершенным, по тем же причинам, по которым удивительно было бы если бы самолёты не могли летать быстрее птиц. Простые физические рассуждения подтверждают эту интуицию: к примеру, вполне возможным в пределах физических ограничений выглядит запуск симуляции человеческого мозга в тысячу раз быстрее его обычной скорости.

Кто-то может ожидать, что скорость не будет ничего значить, потому что бутылочное горлышко заключается в ожидании новых данных от физических экспериментов. Мне это кажется маловероятным. Есть много интересных физических экспериментов, которые можно ускорить, и мне сложно поверить, что команда людей, запущенных на тысячекратной скорости не превзойдёт таких же обычных людей (в частности потому, что они смогут быстро разрабатывать новые инструменты и технологии для помощи себе).

Я ожидаю и того, что возможно создать лучше (а не только быстрее) рассуждающий интеллект, который будет использовать вычислительные ресурсы эффективнее людей, даже работая на той же скорости.

Почему это важно: Спроектированные людьми машины зачастую на голову превосходят биологических существ по параметрам, которые нас интересуют: автомобили не регенерируют и не размножаются, но уж точно перевозят людей дальше и быстрее, чем лошадь. Если мы сможем создать интеллектуальные системы, специально спроектированные для решения главных мировых проблем с помощью научных и технологических инноваций, то они смогут улучшать мир беспрецедентными темпами. Другими словами, ИИ важен.

Дальнейшее чтение: Чалмерс, «Сингулярность, Философский Анализ»

Утверждение #3: Если мы создадим высокоинтеллектуальные ИИ-системы, то их решения будут определять будущее.

Люди используют свой интеллект для создания инструментов, планов и технологий, которые позволяют им изменять окружающую среду по своей воле (и заполнять его холодильниками, автомобилями и городами). Мы ожидаем, что ещё более умные системы будут ещё более способны изменять своё окружение, и, соответственно, что ИИ умнее человека будет обладать большим контролем над будущим, чем люди.

Альтернативный взгляд: ИИ никогда не сможет превзойти всё человечество в целом, каким бы умным он ни был. Наше окружение попросту слишком конкурентное; ему придётся работать вместе с нами и интегрироваться в нашу экономику.

Короткий ответ: Я не сомневаюсь, что автономный ИИ, пытающийся выполнить простые задачи, поначалу будет мотивирован интегрироваться в нашу экономику: если создать ИИ для коллекционирования марок, то он, вероятно, начнёт накапливать деньги для их приобретения. Но что если он приобрёл сильное технологическое или стратегическое преимущество?

Как экстремальный пример, мы можем вообразить, как он разрабатывает наномашины и использует их для преобразовывания как можно большего количества материи в марки; для него вовсе не обязательно будет иметь значение, откуда берётся эта материя – из «грязи», «денег» или «людей». Эгоистичные агенты имеют стимулы участвовать в экономике только если их приобретения от торговли превышают то, что они получат, игнорируя экономику и просто забирая себе ресурсы самостоятельно.

Так что вопрос в том, возможно ли для ИИ получить решающее технологическое или стратегическое преимущество. Я считаю это наиболее сомнительным утверждением из тех, что я тут привожу. Однако, я всё равно ожидаю, что ответ со всей точностью будет «да».

Исторически, конфликты между людьми часто заканчивались тем, что технологически превосходящая группа одерживала верх над своими соперниками. В настоящий момент есть некоторое число технологических и социальных инноваций, которые выглядят возможными, но ещё не разработаны. По сравнению с тем, чего могут достигнуть распределённые программные системы, люди медленно и неэффективно координируются. Всё это приводит к выводу, что если мы создадим машину, которая двигает науку быстрее или эффективнее нас, то она быстро заимеет технологическое и/или стратегическое преимущество над человечеством для себя или для своих операторов. Это в особенности верно, если интеллектуальное превосходство позволяет ей социально манипулировать людьми, приобретать новое оборудование (легально или нет), производить лучшее оборудование, создавать копии себя, или улучшать свой собственный код. К добру или к худу, будущее, вероятно, будет в основном определяться принимающими решения сверхинтеллектуальными машинами.

Почему это важно: Потому что будущее важно. Если мы хотим, чтобы в будущем стало лучше (или хотя бы не хуже), то благоразумно приоритизировать исследования процессов, которые будут оказывать на будущее большое влияние.

Дальнейшее чтение: Армстронг, Умнее Нас

Утверждение #4: Высокоинтеллектуальный ИИ не будет благотворным по умолчанию.

Нам хотелось бы, чтобы ИИ умнее людей работали вместе с человечеством для создания лучшего будущего; но это не произойдёт по умолчанию. Чтобы создать ИИ, оказывающий благотворное влияние, нам нужно преодолеть некоторое количество технических препятствий в дополнение к созданию более мощных и обобщённых ИИ-систем.

Альтернативный взгляд: Люди, становясь умнее, так же становятся более миролюбивыми и терпимыми. Когда ИИ будет становится умнее, он, вероятно, сможет лучше понять наши ценности и лучше им соответствовать.

Короткий ответ: Достаточно умный ИИ сможет определить наши намерения и предпочтения; но это не подразумевает, что он будет исполнять планы в соответствии с ними.

Самомодифицирующийся ИИ мог бы изучить свой код и решить, продолжить ли преследовать поставленные ему цели или модифицировать их. Но как программа будет решать, какие модификации проводить?

ИИ – это физическая система, и где-то внутри себя он конструирует предсказания о том, как вселенная будет выглядеть, если он совершит то или иное действие. Какие-то другие части системы сравнивают эти последствия и исполняют действия, ведущие к тем вариантам, которые текущая система высоко оценивает. Если агент изначально запрограммирован исполнять планы, ведущие к вселенной, в которой, как он предсказывает, что будет исцелён рак, то он будет модифицировать свои цели только если предскажет, что это приведёт к исцелению рака.

Независимо от их уровня интеллекта и независимо от ваших намерений, компьютеры делают в точности то, на что вы их запрограммировали. Если вы запрограммировали необычайно умную машину выполнять планы, которые, как она предсказывает, приведут к будущему, где рак исцелён, то может оказаться, что кратчайший найденный ею путь включает похищение людей для экспериментирования (и сопротивление вашим попыткам изменить её, потому что это замедлит процесс).

Нет никакой искры сочувствия, которая автоматически заставляет достаточно способные компьютеры уважать других разумных существ. Если вы хотите сочувствия, вам нужно его запрограммировать.

Почему это важно: Многие крупнейшие мировые проблемы было бы куда легче решить с помощью суперинтеллекта – но для получения этих преимуществ нужно большее, чем просто развитие способностей ИИ. Вы получите систему, которая делает то, что вам нужно, только если вы знаете как запрограммировать её принимать ваши намерения во внимание и выполнять планы, которые им соответствуют.

Дальнейшее чтение: Бостром, «Воля сверхразума»

Эти четыре утверждения составляют ядро аргументации того, что искусственный интеллект важен: существует способность к обобщённым рассуждениям; если мы создадим искусственные разумы, то они смогут быть намного умнее людей; если они будут намного умнее людей, то они будут иметь огромное влияние; и это влияние не будет положительным по умолчанию.

В настоящее время миллиарды долларов и тысячи человеко-лет тратятся на улучшение способностей ИИ, тогда как сравнительно мало усилий направлено на безопасность ИИ. Искусственный суперинтеллект может возникнуть в ближайшие десятилетия, и почти наверняка, за исключением случаев катастроф, возникнет в ближайший век или два. Суперинтеллектуальные системы окажут либо огромное положительное, либо огромное отрицательное влияние; которое из них – зависит от нас.