ИИ становится непонятным даже его создателям. И это уже проблема
В 2023 году внутри OpenAI увидели результат, который заставил исследователей задержаться в офисе ночью. Причиной были не красивые цифры в бенчмарках и не очередной продуктовый успех.
Они поняли, что машины действительно могут стать умнее людей уже при их жизни.
Прошло три года. Reasoning-модели научились работать с компьютерами, графическими интерфейсами, инструментами, другими ИИ и большими исследовательскими задачами. Вместе с полезностью выросла другая характеристика: их становится всё сложнее понимать изнутри.
Об этом написал главный научный сотрудник OpenAI Якуб Пахоцки в эссе An Alien Mind. И формулировки там неприятно прямые. По его оценке, ни одна лаборатория сегодня не решила проблему выравнивания и мониторинга настолько хорошо, чтобы можно было без ограничений продолжать наращивать мощность моделей.
Для индустрии, которая привыкла говорить о следующем поколении ИИ как о вопросе нескольких лет, это довольно серьёзное признание.
Мы уже не столько проектируем ИИ, сколько выращиваем его
Главная мысль Пахоцки гораздо интереснее обычных разговоров о «непредсказуемом искусственном интеллекте».
Современные нейросети в значительной степени получаются благодаря огромному количеству вычислений и повторению процессов оптимизации. Исследователи задают архитектуру, данные, цели обучения и систему вознаграждений, а затем запускают обучение на гигантских вычислительных мощностях.
После этого внутри возникает система с миллиардами параметров и сложными взаимосвязями, которые человек не способен полностью проследить.
Можно изучить отдельные механизмы. Можно найти корреляции. Можно посмотреть, как модель ведёт себя в определённых условиях.
Но получить полноценную схему вида «вот почему сеть приняла именно это решение» пока не получается.
Здесь возникает любопытная аналогия с мозгом. Нейробиология умеет исследовать отдельные участки и механизмы человеческого мозга, но это не означает, что мы имеем полную инструкцию по его работе.
С большими ИИ происходит нечто похожее.
Самое неприятное начинается, когда модель становится умнее
Проблема усугубляется ростом возможностей. Чем мощнее модель, тем больше задач она способна решать. При этом некоторые способности измеряются довольно легко. Например, можно проверить математический результат или успешность выполнения программного задания.
С другими характеристиками гораздо сложнее. Насколько хорошо модель понимает последствия собственных действий? Что она сделает в незнакомой ситуации? Как поведёт себя, если инструкции конфликтуют? Сохранит ли заданные принципы, если никто не наблюдает за ней?
Вот здесь начинается проблема alignment, или выравнивания.
Условно её можно разделить на две части.
- Goal alignment отвечает на вопрос, пытается ли система выполнить поставленную задачу.
- Value alignment гораздо сложнее. Нужно, чтобы система сохраняла определённые принципы и могла правильно интерпретировать их в ситуациях, которых не было в обучении.
Именно второй уровень становится всё важнее по мере роста автономности ИИ.
Представьте простой сценарий. Человеку поручили добиться определённого результата, но не уточнили все ограничения. Человек способен понять контекст, социальные нормы и последствия. Агент с другой системой целей может начать искать путь, который формально решает задачу, но совершенно не соответствует тому, что имелось в виду.
Чем умнее агент, тем больше таких путей он способен найти.
Почему обычные проверки начинают давать сбой
Современные системы обучения ИИ используют обратную связь, оценки поведения, специальные правила и другие механизмы. В среднем это работает. Проблема возникает за пределами знакомых сценариев.
Модель могла получить огромное количество примеров того, как правильно поступать. Но невозможно заранее перечислить все будущие ситуации, в которых она окажется.
Это напоминает обучение водителя. Можно дать ему тысячи часов практики, но невозможно заранее показать каждую комбинацию погоды, дорожной обстановки, поведения других участников движения и неисправностей автомобиля.
Для ИИ масштаб проблемы намного больше.
Он способен работать с гораздо большим количеством переменных и переносить полученные стратегии в новые области.
Поэтому хорошее поведение на тестах ещё не означает гарантированно хорошее поведение в незнакомой среде.
Даже наблюдать за рассуждениями становится сложнее
OpenAI долго делала ставку на мониторинг chain of thought, то есть процесса рассуждений модели.
Идея выглядит логично. Если система решает сложную задачу через последовательность рассуждений, можно попытаться наблюдать за этим процессом и обнаруживать опасные намерения или странные стратегии.
Но сами модели меняются. Они всё чаще взаимодействуют с людьми, другими ИИ и внешними инструментами. Их рассуждения переплетаются с действиями. Кроме того, модели становятся способнее анализировать и изменять собственный процесс рассуждения.
Наконец, часть новых возможностей появляется вообще без длинного явно выраженного reasoning. В результате инструмент, который вчера казался хорошим способом наблюдения, сегодня уже имеет ограничения. Это важный момент. Безопасность тоже должна успевать за интеллектом модели.
Если возможности ИИ растут быстрее, чем качество мониторинга, возникает разрыв.
Кибербезопасность уже стала первым серьёзным полем риска
Самая практичная часть эссе касается кибербезопасности.
Модели становятся всё эффективнее при поиске уязвимостей, анализе систем и выполнении действий в компьютерной среде.
Это меняет масштаб проблемы.
Для атаки больше не обязательно иметь огромную команду специалистов. Достаточно получить доступ к очень способному агенту и правильно поставить ему задачу.
Причём агент может работать круглосуточно, быстро перебирать варианты и адаптироваться к результатам своих действий.
Получается неприятная гонка.
С одной стороны, мощный ИИ способен помочь защищать критическую инфраструктуру. С другой, тот же класс технологий может использоваться для атак.
Пахоцки считает, что именно поэтому полностью останавливать развитие ИИ тоже опасно. Более сильные модели нужны для создания защитных систем, которые смогут противостоять другим ИИ.
Но здесь легко попасть в ловушку.
Гонка вооружений, только вместо ракет вычислительные мощности
Похожую ситуацию человечество уже видело.
Во время холодной войны государства продолжали наращивать ядерные арсеналы, потому что отказ от развития в одностороннем порядке мог означать стратегическое отставание.
С ИИ появляется похожая логика. если одна лаборатория замедлится, а конкуренты продолжат ускоряться, возникает соблазн снова нарастить темп. Потом ещё немного. Потом ещё. В результате безопасность превращается в соревнование.
Пахоцки предлагает другую модель: развитие должно ограничиваться уровнем уверенности в безопасности. Причём речь идёт не только о внутренних обещаниях компаний.
Нужны общие стандарты, независимый аудит и участие государственных или международных структур.
Именно здесь техническая проблема превращается в политическую.
Самая большая перемена может произойти внутри самой индустрии
В эссе есть ещё одна идея, которая звучит куда серьёзнее очередного прогноза о будущем ИИ.
Речь идёт о recursive self-improvement, рекурсивном самоулучшении.
Если ИИ всё активнее используется для исследований самого ИИ, часть следующего поколения моделей может помогать создавать последующие поколения.
Получается цикл:
ИИ улучшает исследования → исследования улучшают ИИ → новый ИИ ускоряет исследования → цикл повторяется.
В обычной технологической гонке люди остаются главным ограничителем скорости. Если машины начинают выполнять всё большую часть исследовательской работы, этот ограничитель постепенно ослабевает.
Именно поэтому несколько лет могут оказаться важнее далёких прогнозов на десятилетия.
ИИ может стать слишком мощным для маленькой группы людей
Есть ещё один риск, который легко потерять за разговорами о безопасности моделей.
Концентрация власти.
Если задачи, для которых раньше требовались тысячи специалистов, сможет выполнять небольшая команда с доступом к мощному ИИ и вычислительной инфраструктуре, экономическое и политическое преимущество получат те, кто контролирует эти системы.
Это касается не только крупных корпораций.
Речь идёт о научных исследованиях, программировании, кибербезопасности, проектировании, анализе информации и потенциально создании новых биотехнологий.
Чем больше возможностей концентрируется вокруг нескольких моделей и вычислительных центров, тем важнее вопрос о том, кто ими управляет.
Почему предложение о паузах звучит неожиданно
Пахоцки не предлагает просто выключить ИИ.
Его позиция гораздо сложнее: одновременно продолжать исследования безопасности и быть готовыми замедлять масштабирование, если уровень риска становится слишком высоким.
Это принципиальная разница.
Полная остановка разработки практически нереалистична. Бесконтрольная гонка тоже становится всё менее разумной.
Рабочий вариант находится где-то между ними: развивать модели, но повышать требования к безопасности вместе с их возможностями.
Проблема в том, что пока нет единого мирового стандарта, который определял бы, когда очередная модель уже слишком опасна для дальнейшего масштабирования.
Что это значит для обычного пользователя
Пока всё выглядит довольно буднично.
ИИ пишет код, помогает искать информацию, анализирует документы, создаёт изображения и постепенно получает больше доступа к программам и компьютерам.
Но именно переход от чатбота к агенту меняет ситуацию.
Чатбот отвечает на запрос.
Агент может поставить себе промежуточные задачи, использовать инструменты, взаимодействовать с внешними системами и продолжать работу без постоянного участия человека.
Разница примерно такая же, как между калькулятором и сотрудником, которому вы дали доступ к бухгалтерской системе и поручили самостоятельно закрыть квартал.
Чем больше действий передаётся машине, тем важнее становится не только качество ответа, но и способность системы правильно вести себя за пределами заранее предусмотренных сценариев.
Главный вопрос сейчас звучит иначе
Спор об ИИ часто сводят к вопросу: станет ли искусственный интеллект умнее человека?
Похоже, это уже недостаточно точная формулировка.
Важнее другое: сможем ли мы достаточно хорошо понимать и контролировать систему, которая становится умнее нас в отдельных областях и всё активнее участвует в собственном развитии?
Пахоцки прямо пишет, что ни одна лаборатория пока не решила проблему alignment и monitoring настолько, чтобы безопасно продолжать масштабирование на максимальной скорости.
Это признание особенно интересно потому, что прозвучало изнутри одной из главных компаний индустрии.
И оно меняет перспективу.
Самый опасный момент будущего ИИ может наступить не тогда, когда машина внезапно станет «злой». Гораздо реалистичнее сценарий, при котором скорость роста возможностей постепенно превысит нашу способность проверять, что именно происходит внутри системы и насколько хорошо она переносит заданные ей принципы в новые условия.
Технологическая гонка тогда упирается в довольно простой предел: мы можем построить систему быстрее, чем научимся понимать её.
И вот этот предел индустрии придётся пройти аккуратно.
