Зачем этот сайт?

Привет!

Меня зовут Вит, я увлекаюсь искусственным интеллектом и работаю с ним уже довольно давно.

Этот сайт предназначен для того, чтобы популяризовать тематику безопасности искусственного интеллекта, а в особенности Сильного Искусственного Интеллекта (СИИ), с сильным упором на второе. Это направление обычно называется AI Alignment; за неимением на данный момент общепринятого перевода этого понятия, в переводах и статьях на этом сайте будет использоваться термин Согласование ИИ.

Сфера эта появилась не так давно, и развивается недостаточно быстро для того, чтобы добиться целей, ею поставленных. Основной площадкой для дискуссий, статей, и исследований на данный момент является сайт Alignment Forum, ответвление от LessWrong. На русском языке на данный момент дискуссия если и ведётся, то отдельными людьми и группами; в общем дискурсе проблема не обсуждается, исследования не ведутся; отсутствуют переводы статей. Этот сайт создан как попытка решить эту проблему.

На первом этапе здесь будут публиковаться переводы основных серий статей с Alignment Forum.

План выпуска переводов на данный момент примерно следующий:

• AGI Safety from First Principles by Richard Ngo, formerly of DeepMind — 31.11
• Embedded Agency by Scott Garrabrant and Abram Demski of MIRI — 31.12
• Iterated Amplification by Paul Christiano of ARC — Апрель 2022
• Value Learning by Rohin Shah of DeepMind — Июнь 2022

Почему это важно?

Россия и СНГ — регион с традиционно сильными специалистами, связанными с математическими дисциплинами; машинное обучение и глубокое обучение очень хорошо развиваются, модели обучаются, случаются прорывы. Вероятность того, что Сильный Искусственный Интеллект появится именно в этом регионе достаточно велика.

При этом, если судить по моему опыту, в данный момент достаточного внимания проблемам безопасности и согласования ИИ не уделяется. Это значит, что велика и вероятность появления несогласованного Сильного Искусственного Интеллекта, что влечет за собой серьёзные экзистенциальные риски для человечества.

Предполагаю, это из-за того, что порог входа в эту тематику слишком высокий: тебе нужно быть не только человеком, увлекающимся тематикой искусственного интеллекта в общем смысле, но ещё и знать английский, читать тематические форумы и быть в курсе этой проблемы.

Это критически сужает круг людей, которые могут исследовать эту тему. Мое предположение заключается в том, что круг можно расширить переводами статей, тем самым открыв тему для изучения и обсуждения русскоговорящими исследователями, а в дальнейшем и наладить диалог с англоговорящими коллегами.