Крошечная Модель Samsung Бьёт Рекорды: Как 7 Миллионов Параметров Побеждают Гигантов ИИ в Логике

Крошечная модель Samsung с 7 миллионами параметров превосходит гигантов ИИ в сложных задачах рассуждения

Новое исследование от Samsung, опубликованное 6 октября 2025 года, демонстрирует, как система с удивительно небольшим числом параметров, Tiny Recursive Model (TRM), или «Крошечная рекурсивная модель», обходит существенно более крупные языковые модели, включая DeepSeek-R1, Google Gemini 2.5 Pro и OpenAI o3-mini на сложных задачах логического рассуждения, таких как ARC-AGI. Эта работа, выполненная единственным автором Алексией Жоликер-Мартино, ставит под вопрос устоявшееся представление о том, что масштаб - единственный путь к прогрессу в возможностях искусственного интеллекта.

Ключевым отличием TRM является использование рекурсии - итеративного процесса, в рамках которого модель многократно пересматривает и уточняет свои промежуточные выводы, прежде чем сформировать окончательный ответ. Это позволяет ей имитировать глубину и сложность рассуждений, характерные для существенно более крупных архитектур, без сопутствующих вычислительных и ресурсных затрат.

Принцип работы Tiny Recursive Model

TRM работает по циклу, включающему несколько этапов «внутреннего мышления»:

1. Первичное гипотезирование: получив условия задачи, система генерирует черновой набросок решения. Этот набросок представляет собой быструю догадку и не обязан быть верным.
2. Формирование «мыслительного блокнота» (scratchpad): модель создаёт внутреннее скрытое состояние, не выраженное в последовательности токенов, а представляемое как матрица или вектор. В этот scratchpad заносятся мысли о задаче и черновике, включая обнаруженные ошибки, потенциальные улучшения и способы проверки гипотез.
3. Итеративное уточнение: в течение нескольких проходов система обновляет это внутреннее состояние, постоянно сверяясь как с оригинальным заданием, так и с начальным наброском. Цель - выявить противоречия и найти пути улучшения.
4. Перезапись черновика: после заданного числа итераций модель переписывает исходный черновик, опираясь на обновлённый scratchpad.
5. Многоуровневая рекурсия: весь описанный выше процесс (генерирование, обдумывание, исправление) повторяется несколько раз, прежде чем появляется окончательный ответ.

Подобный подход, по словам автора, уменьшает хрупкость традиционных «цепочек рассуждений» (chain-of-thought), где одна ошибка в начале может исказить весь вывод, и снижает склонность к переобучению при росте количества слоёв.

Впечатляющие результаты и их значение

Показатели TRM на тестах логического рассуждения оказались замечательными:

• ARC-AGI-1: точность 44.6 %, что существенно превышает результат o3-mini-high (34.5 %).
• ARC-AGI-2: точность 7.8 % по сравнению с 3.0 % у o3-mini-high.
• Sudoku-Extreme: 87.4 % точности, тогда как Hierarchical Reasoning Models (HRM) достигали около 55 %.
• Maze-Hard: 85 % точности.

Модель, содержащая лишь 7 млн параметров, что менее 0.01 % от размеров некоторых её «соперников», продемонстрировала превосходство в задачах, требующих итеративной корректировки и логического обоснования. В частности, она обогнала более ранний подход Hierarchical Reasoning Model (HRM), использующий две сети и сложные методы обучения.

Несмотря на поразительные достижения, важно подчеркнуть, что TRM не является языковой моделью. Её текущая специализация - алгоритмические задачи, и она не предназначена для генерации текстовых ответов или широкого языкового самовыражения. Низкий результат на ARC-AGI-2 (8 %) также свидетельствует о том, что система ещё далека от универсальности и имеет ограничения по типу задач, которые она может решать эффективно. Тем не менее, как отмечается в публикации на Reddit, «рекурсия, а не масштаб, движет рассуждением».

Перспективы для on-device AI и будущие исследования

Работа Samsung подчёркивает важность алгоритмической эффективности для будущего искусственного интеллекта, особенно в контексте «ИИ на устройстве» (on-device AI) и «граничного ИИ» (edge AI), где память и вычислительные ресурсы ограничены. Масштабные модели, безусловно, сохранят свою актуальность для задач, требующих обширных мировых знаний и генерации разнообразного контента. Однако Tiny Recursive Model показывает, что для определённого класса задач архитектурные инновации и рекурсивные схемы способны дать значительный прирост в ресурсной и энергоэффективности.

Это открывает новые направления для исследований: как комбинировать рекурсию с большим контекстом, какие механизмы контроля качества промежуточных шагов гарантируют стабильность вывода, и как интегрировать подобные подходы в гибридные системы, где небольшие рекурсивные модули могли бы работать совместно с крупными языковыми моделями.

Полный текст статьи «Less is More: Recursive Reasoning with Tiny Networks» доступен на arXiv. Ранее проведённый разбор работы Hierarchical Reasoning Model, на которую ссылаются в текущем исследовании, можно найти здесь.