🐡 Еще одна интересная работа от Sakana AI, они представила работу Learning Multi-Agent Coordination via Sheaf-ADMM, которая будет показана на ICML 2026.
Авторы рассматривают интеллект как распределённую систему: сложная задача делится на пересекающиеся фрагменты, а каждый агент работает только со своей частью. Затем агенты согласуют решения с соседями на границах, где их области пересекаются.
В Sheaf-ADMM координация строится в несколько раундов. Сначала агент предлагает локальное решение. Потом он сверяется с соседями и сглаживает конфликтующие части. Если согласия нет, конфликт сохраняется в памяти и влияет на следующий раунд переговоров.
Подход проверили на задачах, где одному агенту не хватает всей информации.
В Multi-Agent Sudoku каждый агент видел только строку, столбец или блок 3×3. Sheaf-ADMM решил 93% задач, тогда как сопоставимый message-passing baseline набрал 11%.
В image classification при domain shift по размеру canvas обычная CNN падала до 11% accuracy на MNIST, а метод Sakana AI сохранял 86%.
В maze pathfinding Sheaf-ADMM достиг точности message-passing baseline, но использовал 5-мерный канал коммуникации вместо 42-мерного.
Координация агентов полностью прозрачная. Можно видеть, как локальные агенты спорят, корректируют решения и приходят к общему результату, вместо того чтобы прятать всё в hidden states.
Метод опирается на ADMM из distributed optimization и sheaves из applied topology.
Метод помогает нескольким агентам решать одну сложную задачу по частям, договариваться на пересечениях и собирать итоговое решение без постоянного обмена всей информацией.
Paper: https://arxiv.org/abs/2605.31005
Code: https://github.com/SakanaAI/sheaf-admm
Blog: https://pub.sakana.ai/sheaf-admm/
—-
визуализировали брутфорс в тех задачах, в которых он определим
проблема в том, что таких задач мало, в большинстве неоч понятно, что именно нужно перебирать и параллелить :3
获取网页
2 个网页
Ваше наблюдение про брутфорс — ключевое. Давайте разберём, почему Sheaf-ADMM работает именно там, где задача структурно декомпозируема, и почему это ограничение не случайно.
Почему брутфорс определим в этих задачах
表格
复制
| Задача | Что «перебирают» агенты | Почему это работает |
|---|---|---|
| Sudoku | Каждый агент (строка/столбец/блок) решает локальную CSP: «в моих 9 клетках все цифры 1-9 без повторов». Пересечения — клетки, где агенты должны согласовать цифру. | Глобальная задача — система локальных ограничений с пересекающимися переменными. Классический divide-and-concur. |
| Maze pathfinding | Каждый агент видит фрагмент лабиринта и выбирает локальный путь. Соседи согласовывают, что происходит на границе фрагментов. | Путь — композиция локальных сегментов, согласованных в точках стыка. |
| Image classification | Каждый агент видит патч изображения. «Согласие» — согласованность признаков на границах патчей. | Классификация через локальные представления с непрерывными граничными условиями. |
Общий паттерн: во всех трёх задачах есть явная структура пересечения — агенты работают с перекрывающимися подмножествами переменных, и «правильный» ответ определяется согласованностью на этих пересечениях.
Почему в «большинстве задач» это неочевидно
Вы абсолютно правы — в большинстве задач глубокого обучения нет естественной геометрии пересечения:
- Языковое моделирование: токены линейны, но «агент» для токена i не имеет естественного «пересечения» с агентом для токена j в смысле shared variables. Внимание — полносвязное, а не локальное.
- Рекомендательные системы: пользователь-айтем матрица, но «агенты» (пользователи) не решают локальные подзадачи с пересекающимися переменными.
- Планирование: часто задача не разбивается на локальные субзадачи с простыми граничными условиями.
- RL в непрерывных средах: состояние — вектор, у которого нет естественной декомпозиции на «перекрывающиеся патчи».
Что делает Sheaf-ADMM особенным (и ограниченным)
Sheaf буквально задаёт: «вот линейные проекции состояний агентов, которые должны совпадать». Это требует:
- Априорного знания структуры — какие агенты соседи, какие части их состояний должны согласовываться.
- Локальную оптимизацию имеет смысл — агент решает осмысленную субзадачу, а не просто прогоняет MLP.
- Консенсус достижим — система ограничений совместна (или почти совместна).
В MPNN (message-passing neural networks) сообщения — это произвольные векторы, выученные MLP. В Sheaf-ADMM сообщения — предиктивные ошибки по линейным проекциям, то есть коммуникация имеет семантику «мы не согласны вот в этом конкретном подпространстве».
Параллель с distributed optimization
ADMM изначально работает для задач вида:
min∑ifi(xi)s.t.Aixi=Ajxj на пересечениях
Это декомпозиция по переменным (variable splitting). Если задачу нельзя так разбить — ADMM неприменим. Sheaf-ADMM — это learnable ADMM, но структурное предположение остаётся.
Что это значит на практике
Sheaf-ADMM — это не универсальная замена трансформерам, а скорее:
- Инструмент для задач с естественной геометрией: компьютерное зрение (патчи), физические симуляции (сетки), графовые задачи с локальными ограничениями (Sudoku, CSP).
- Исследовательский фреймворк для изучения «прозрачной координации» — где можно интерпретировать, почему агенты не согласны (через dual variables ui ).
- Демонстрация, что оптимизационная структура (в отличие от произвольного message-passing) даёт лучшую сэмпл-эффективность и интерпретируемость.
Ваш вывод верен: метод силён там, где задача уже структурирована как система локальных субзадач с пересечениями. Для «безструктурных» задач (как большинство NLP/генеративных задач) придумать, что именно «перебирать и параллелить», — это и есть открытая проблема.