Sakana AI обучила нейросеть из 1000 слоёв без обратного распространения

Sakana AI представила PC-ALM — метод обучения глубоких нейросетей, который отказывается от классического backpropagation и вместо этого использует локальные взаимодействия между соседними слоями. Алгоритм смог обучать сети глубиной до 1000 слоёв, применяя локальные ошибки предсказания, множители Лагранжа и PI-регуляцию внутри каждого слоя.

Метод вырос из подхода predictive coding, популярного в NeuroAI, и решает проблему затухания сигнала ошибки в очень глубоких сетях за счёт специальных двойственных переменных, которые передают информацию через большое число слоёв.