Безопасность СИИ с чистого листа: Вступление

В этом отчёте я попытался собрать в одном месте самые убедительные аргументы о том, что разработка Сильного Искусственного интеллекта (СИИ) может представлять экзистенциальный риск для человечества. Он исходит из моей неудовлетворенности существующими аргументами о потенциальных рисках СИИ. Ранние работы обычно оказываются менее релевантными в контексте современного машинного обучения; а более современные работы краткие и несфокусированные.
Изначально я планировал лишь скомпилировать аргументы других исследователей, но отчёт становился всё больше и больше, и в конце-концов оказался скорее отражением моих мыслей чем чьих-то ещё. Несмотря на то, что он рассказывает о стандартных концепциях, я считаю что он даёт уникальную перспективу о том, как рассуждать о СИИ — такую перспективу, которая не основывается на прошлых суждениях, а вырабатывает их с чистого листа; из первых принципов.

При всём этом, ширина этой темы означает, что в мой отчёт было включено много аргументов, которые являются лишь быстрыми набросками, и, я уверен, немало ошибок. Я надеюсь продолжить дорабатывать этот отчёт, и буду очень рад обратной связи. Кроме того, я благодарен многим людям, уже оставившим эту обратную связь и высказавшим слова поддержки. Этот отчёт состоит из шести частей, при этом первая и последняя — краткие и нужны скорее для оформления, тогда как четыре средние отражают четыре предпосылки доводов, представленных ниже.

Безопасность СИИ с чистого листа

Главное опасение, мотивирующее техническое изучение проблемы безопасности СИИ заключается в том, что мы можем создать автономных интеллектуальных агентов, которые интеллектуально сильно превосходят людей, и при этом имеют цели, расходящиеся с нашими. Человеческий интеллект позволяет нам координировать сложные сообщества и разрабатывать продвинутые технологии, и этим контролировать планету в гораздо большем объеме, чем любые другие виды существ. Но ИИ рано или поздно станут более способными, чем мы, в задачах, через которые мы поддерживаем и исполняем этот контроль. Если они не заходят подчиняться нам, человечество может стать лишь вторым по силе «видом», и потерять способность создавать для себя ценное, стоящее будущее.

Я буду называть этот аргумент «второй вид»; мне кажется, что это реалистичный довод, который нам нужно воспринимать крайне серьёзно (Стюарт Рассел называет это «проблемой гориллы» в своей недавней книге, Human Compatible). Несмотря на это, версия этого довода, привёденная выше, основана на очень расплывчатых понятиях и интуициях о мире. В этом отчёте я предоставлю настолько детализированную презентацию аргумента второго вида. насколько смогу, подчёркивая аспекты, которые мне самому до сих пор непонятны до конца. В частности, я буду отстаивать версию этого довода которая постулирует, что без осознанного противодействия, велик шанс, что:

1. Мы создадим ИИ, превосходящий человека интеллектуально
2. Эти ИИ будут автономными агентами, преследующими масштабные цели
3. Эти цели будут не согласованы с нашими; то есть, они будут стремиться к результатам, которые нежелательны по нашим стандартам, и будут идти в разрез с нашими целями.
4. Создание подобных ИИ приведёт к тому, что они обретут контроль над будущим человечества.

Несмотря на то, что я использую примеры из современного глубокого обучения, этот отчёт также нацелен на его применение к ИИ, созданным с помощью совершенно иных моделей, обучающих алгоритмов, оптимизаторов или способов обучения чем те, которыми мы пользуемся сейчас. При всём этом, большинство моих аргументов будут более не релевантны в том случае, если область ИИ сменит фокус с машинного обучения на что-то иное. Кроме того, я часто сравниваю разработку искусственного интеллекта с эволюцией интеллекта человеческого; конечно, аналогия не совсем корректна, но на данный момент люди — лучший пример из имеющихся, на котором мы можем основывать наши размышления на тему ИИ, обладающих общим интеллектом.