Принципы для Проектов по Согласованию/Агентности

Перевод поста Джона Вентворта. Несколько полезных советов по поводу того, как совершать полезную работу в области согласования. (Оригинал)

***

«Джон, что ты думаешь по поводу этой идеи исследовательского проекта по согласованию?»

Мне довольно регулярно задают такие вопросы. Как я на них отвечаю? Какие принципы управляют моей оценкой? Не все мои интуитивные соображения по поводу того, что делает проект ценным, легко понятно сформулировать. Всё же я думаю, что принципы в этом посте охватывают около 80% ценности.

Беритесь за Задачи Хэмминга, не избегайте их

Самый частый с большим отрывом вариант провала самоназванных исследователей согласования – поиск Умных Способов Избежать Делать Сложные Вещи (или Умных Поводов Игнорировать Сложные Вещи), вместо того, чтобы Напрямую Взяться За Сложные Вещи.

Чаще всего в таких случаях предложение подразумевает отдать Сложные Части на аутсорс каким-нибудь будущим ИИ, и «просто» попробовать согласовать эти ИИ без собственного понимания Сложных Частей согласования. Следующий частый случай: заявить, что, раз Сложные Части Сложны, то у нас точно нет достаточного времени, чтобы их решить, а следовательно – нам надо притвориться, что мы решим согласование, игнорируя их. Третий частый вариант – уйти в построение области, надеясь, что кто-то ещё решит Сложные Части. (Признаю, что это не самый милосердный пересказ.)

Есть ценность в наблюдении того, как проваливаются глупые идеи. Большая часть ценности – в выяснении, каковы Сложные Части задачи – жёсткие препятствия, в которые мы врезаемся снова и снова, и понятия не имеем, как их решить. (Если часть кажется вполне решаемой – наверное, это не Сложная Часть.) Когда вы распознали Сложные Части достаточно хорошо, чтобы попытаться их избежать, вы уже прошли ту точку, в которой попытки применить глупые идеи принесли свою ценность.

На достаточно новой задаче есть ещё ценность в проверке глупых идей просто на всякий случай, вдруг задача окажется простой. Согласование уже прошло этот этап; оно не простое.

Вы можете сэкономить себе несколько лет времени и усилий, активно пытаясь идентифицировать Сложные Части и сосредоточившись на них, а не избегая их. Иначе вы в итоге потратите несколько лет на идеи, которые не приносят области настоящей пользы. Это одна из больших проблем с попытками обойти Сложные Части: когда попытка неизбежно проваливается, это не приближает нас к решению Сложных Частей. (высказывались наблюдения и о том, что исследователи согласования в основном, кажется, не берутся за Сложные Части, и что исследования согласования, кажется, в основном не строятся друг на друге; я утверждаю, что второе – результат первого.)

В основном, думаю, сложные части – это штуки вроде «лучше понимать агентность в целом» и «понять, что происходит внутри магических чёрных ящиков». Если ваша реакция – «чувак, это звучит сложно», то вы успешно опознали (некоторые) Сложные Части.

Обладайте Интуитивной Историей О Том, Что Ищете

Один из идущих прямо сейчас проектов ищет, как модульность обученных систем соответствует широким пикам в пространстве параметров. Интуитивная история для этого: у нас есть два «модуля», внутри каждого происходит много чего, но между ними есть интерфейс сравнительно малой размерности. Значит, должно существовать много способов поменять внутренности модуля, оставив видимое снаружи поведение тем же. Раз такие изменения не меняют поведение, они не меняют то, насколько хорошо система работает. Так что, мы ожидаем, что модульность приводит к большому количеству степеней свободы в пространстве параметров, т.е., широким пикам.

Эта история слишком абстрактна, чтобы можно было немедленно проверить её на обученной сети. Как нам формализовать «модули» и искать их? Как нам формализовать «изменения в модуле», особенно учитывая, что пространство параметров может не очень аккуратно соответствовать функциональным модулям? Но это нормально; история может быть довольно абстрактной.

Суть интуитивной истории в том, чтобы направить наши исследования. Без неё мы рискуем удариться в слепой эмпиризм: просто каталогизировать паттерны, не строя общие модели/теорию/понимание того, что происходит. В этом режиме мы можем легко потерять след большой картины и в итоге заниматься сбором бессмыслицы. Интуитивная история даёт нам направление на большой картине, и что-то, куда можно целиться. Даже если оно окажется неверным!

Формализуйте

Сравнительно легко приводить расплывчатые/абстрактные интуитивные аргументы. Большая часть ценности и большая часть вызова – в нахождении правильных формализаций расплывчатых концепций, использующихся в этих аргументах, чтобы аргумент стал устойчиво верным и полезным. Большая часть ценности и препятствий означает, что нахождение правильной формализации обычно должно быть центральным фокусом проекта.

Моя работа по абстракциям – хороший пример. Я начал с некоторых примеров абстракций и интуитивной истории о выкидывании информации, оставляя только важную «издали». Затем основой работы была формализация этой идеи таким образом, чтобы она соответствовала интуитивным примерам и делала интуитивную историю доказуемой.

Выводите Отологию, Не Допускайте Её

В интерпретируемости машинного обучения некоторые методы смотрят на вычислительный граф сети. Другие – на ортогональные направления в пространстве активаций. Третьи – на низкоранговые декомпозиции матриц весов. Всё это – «разные онтологии» интерпретируемости. Методы, смотрящие на одну из них будут обычно упускать структуру других; например, если запустить алгоритм кластеризации графа на графе вычислений, я скорее всего не обнаружу интерпретируемые концепты, содержащиеся в направлениях в пространстве активаций.

На самом деле хотелось бы избежать допущения онтологии, а вместо этого открывать/выводить онтологию как часть проекта. К примеру, мы можем провести эксперимент, в котором мы меняем одну интерпретируемую-людьми «штуку» в окружении, и смотрим, как это меняет обученную сеть; это позволило бы нам открыть, как туда укладывается концепт, а не допускать это с самого начала (благодарность Кху за это предложение). Другой подход: начать с какой-нибудь интуитивной истории о том, почему конкретная онтология предпочитаема – например, если у нас есть граф с локальной связностью, то, может быть, сработает Теорема Телефона. Такой аргумент должен (а) позволять нам исключить взаимодействия, обходящие предпочитаемую онтологию, и (б) быть сам по себе проверяемым, например, для Теоремы Телефона мы (в принципе) можем проверить сходимость общей информации в пределе.

Открывайте Чёрный Ящик

Не ограничивайтесь проведением над сетью чисто поведенческих экспериментов, или доказательством чисто поведенческих теорем. Мы хотим говорить о внутренней структуре.

Частично открывание чёрного ящика – про то, чтобы браться за Сложные Части, а не избегать их. Не открывание чёрного ящика – красный флаг: обычно это знак избегания Сложных Частей.

Частично открывание чёрного ящика – про получение очень богатого канала данных. Когда мы просто работаем с чёрным ящиком, мы получаем сравнительно бедные данные о том, что происходит. Когда мы открываем чёрный ящик, мы, в принципе, можем напрямую наблюдать каждую шестерню и напрямую проверять, что происходит.

Сравнительная Важность Этих Принципов

Браться за Задачи Хэмминга – наверное, тот совет, которому отдельному исследователю следовать прямо сейчас важнее всего, но в основном я ожидаю, что людям, которые в нём ещё не убеждены, придётся понять его на собственном опыте. (Мне уж точно пришлось понять его на собственном опыте, хоть и до того, как я начал работать над согласованием.) Открывание Чёрного Ящика довольно естественно следует, когда упираешься в Сложные Части.

После преодоления этого порога, думаю, самый важные принципы – Выводить Онтологию и Формализовывать. Они важны для противоположных типов людей. Некоторые люди склонны оставаться слишком абстрактными и избегать принятия онтологии, но из-за этого они никогда не формализуют, а следовательно – теряют главный источник ценности. Другие формализуют слишком рано, принимают ad-hoc формализации, а Выведение Онтологии довольно сильно борется с этим.

Обладать Интуитивной Историей особенно полезно для людей, которые склонны теряться в деталях и никуда не добираться. Будьте уверены, что у вас есть интуитивная история, и используйте её для направления всего остального.