Sakana AI: Революционный Алгоритм M2N2 Объединяет Модели ИИ без Переобучения

Японская компания Sakana AI, основанная бывшими сотрудниками Google, выпустила инновационный эволюционный алгоритм под названием Model Merging of Natural Niches (M2N2), дающий возможность объединять разнообразные модели искусственного интеллекта в комбинированные системы без обычно дорогих и требующих больших ресурсов процессов переобучения. Эта разработка, удостоенная награды Best Paper на конференции GECCO'25 в 2025 году, предлагает парадигму, где будущее ИИ формируется не за счёт одной монолитной модели, а посредством динамичных экосистем взаимодействующих агентов.

Эволюционный подход к синтезу моделей

Метод M2N2, подробно изложенный в статье «Competition and Attraction Improve Model Fusion» на arXiv, черпает вдохновение из законов естественного отбора:

1. Гибкие границы слияния (аналог обмена ДНК): В отличие от прежних подходов, требовавших фиксированных точек склейки (например, на уровне слоёв нейронной сети), M2N2 выбирает случайные split-point - позиции в массиве параметров, где происходит разрез. Итоговые веса модели-потомка формируются как смесь параметров двух родительских моделей до и после этой позиции. Если новая модель показывает улучшенные метрики (фитнес), она сохраняется в «архиве» популяции. Этот «генетический оператор» позволяет исследователям обходиться без ручных настроек, существенно расширяя пространство поиска оптимальных комбинаций.

2. Конкуренция за ресурсы: M2N2 симулирует соперничество между моделями за ограниченные ресурсы, где каждый обучающий датапойнт рассматривается как ресурс с определённой ёмкостью. Если одна модель уже демонстрирует высокую эффективность на конкретном примере, считается, что она «захватила» большую часть этого ресурса, заставляя остальные модели специализироваться на менее освоенных данных. Такой механизм поощряет развитие уникальных навыков и специализацию агентов.

3. Привлечение для скрещивания (кроссовер особей): В M2N2 выбор «родительских» моделей для слияния не полностью случаен. Первая модель-родитель отбирается на основе её общей производительности (фитнеса). Вторая модель подбирается с учётом принципа «привлечения» - она должна показывать силу там, где первая модель слаба. Этот целенаправленный способ комбинирования взаимодополняющих сильных сторон значительно повышает шансы создания более эффективных гибридных решений.

В совокупности эти идеи образуют мощный генетический алгоритм, способный «обучать» модели практически с нуля, без применения градиентов и обратного распространения ошибки (backprop). Весь процесс сводится к поиску в пространстве параметров при помощи эволюционных операторов.

Прикладные результаты и эффективность

Sakana AI продемонстрировала универсальность и продуктивность M2N2 в трёх ключевых направлениях:

• Обучение с нуля: В небольшом эксперименте исследователи применили M2N2 для обучения 20 случайно инициализированных многослойных перцептронов (MLP) на задаче классификации изображений MNIST. M2N2 не только достиг уровня производительности, сопоставимого с эталонным алгоритмом CMA-ES, но и сделал это быстрее и экономичнее.
• Объединение больших языковых моделей (LLM): В более масштабном эксперименте M2N2 успешно слил WizardMath-7B, модель, специализирующуюся на решении математических задач, с AgentEvol-7B, ориентированной на выполнение агентских задач. Получившийся гибридный агент продемонстрировал высокие результаты как в математике, так и в решении веб-задач.
• Генеративные модели изображений: M2N2 был использован для объединения японской модели генерации изображений JSDXL с тремя версиями Stable Diffusion, обученными преимущественно на английских запросах. Примечательно, что получившаяся модель умеет генерировать качественные изображения по запросам как на японском, так и на английском, чего не удалось достичь традиционной тонкой настройкой.

Одним из центральных преимуществ M2N2 является устранение проблемы «катастрофического забывания» - явления, при котором модель теряет ранее освоенные навыки при обучении новым задачам. Слияние моделей, напротив, сохраняет их исходные компетенции, что подтверждается двуязычной способностью диффузионной модели.

Экономическая и технологическая перспектива

Разработка M2N2 несёт значительные экономические последствия для индустрии ИИ. Вместо того чтобы тратить миллионы на обучение монолитных моделей с нуля, компании смогут комбинировать специализированные решения, создавая гибриды, существенно превосходящие суммарные возможности их частей. Это особенно важно для рынков с ограниченными вычислительными ресурсами.

Как отметил исследовательский директор Sakana AI Роберт Тьярко Ланге, «Технология M2N2 - это не просто очередной академический эксперимент, а практический инструмент, способный изменить экономику разработки ИИ». Авторы предвидят будущее, в котором организации будут поддерживать целые экосистемы моделей ИИ, непрерывно эволюционирующие и сливающиеся для адаптации к новым вызовам.

Тем не менее, существуют ограничения. Возможность слияния зависит от степени сходства моделей. Модели, сильно отклоняющиеся от своих базовых версий, могут оказаться несовместимыми. Sakana AI планирует дальнейшие исследования для разработки стандартизированной метрики совместимости моделей, что позволит обеспечить успешное слияние и контролировать процесс.

Код M2N2 доступен сообществу на GitHub, открывая путь для дальнейшего развития и применения этой технологии. Развивая принципы эволюции, Sakana AI предлагает новый взгляд на построение ИИ, где гибкость, адаптивность и специализация превосходят стремление к единой, всёобъемлющей модели.