Weight transport problem и её решения

Филиппов Игорь CSC, JBR

BackpropСовременные алгоритмы глубокого обучения не могут работать в головном мозге, т.к. используют механизм обратного распространения ошибки (weight transport problem)

δl = ϕ′�(yl) ⋅ WTl+1 ⋅ δl+1

Blake Aaron Richards, Deep learning summer school, 2017

yl+1 = ϕ(Wl+1 ⋅ yl + bl+1)

Downstream weightsПридумывая алгоритм, который бы тренировал сеть подбирать для симуляции backprop`a, Lillicrap использовал случайную матрицу B в качестве бейзлайна(B генерируется в начале и не меняется)

WT

Lillicrap et al. (2016), Nat. Commi. 7(13276)

δl = ϕ′�(yl) ⋅ Bl+1 ⋅ δl+1

ΔWl+1 = − lr ⋅ δl+1 ⋅ yTl

Feedback alignment Внезапно, бейзлайн неплохо выучился!

Blake Aaron Richards, Deep learning summer school, 2017

MNIST:

Feedback alignment Это происходит потому, что веса подстраиваются под B

Blake Aaron Richards, Deep learning summer school, 2017Lillicrap et al. (2016), Nat. Commi. 7(13276)

Угол между векторами градиента и FA

W1

ПроблемыНе тренируются очень глубокие (> 100 слоёв) сети FA —> Direct Feedback Alignment Method

Плохо тренирует свёрточные сети Vanishing и exploding gradients из-за случайности B

Blake Aaron Richards, Deep learning summer school, 2017

Direct Feedback Alignment

Arild Nøkland, Direct Feedback Alignment Provides Learning in Deep Neural Networks, 2016

BP - backprop, FA - Feedback Alignment, DFA - Direct Feedback Alignment

FA in Convolutional Networks

Чтобы использовать FA в сверхточных сетях, нужно решить проблему vanishing/exploding gradients

Помним, что при обратном проходе нет информации о текущих величинах весов W

FA in Convolutional Networks (Sign Symmetry)

Передаётся знак для изменения матрицы обратных весов

Blt = |Bl

0 | ⊙ sign(Wlt)

Initializationmethod

где t обозначает этап тренировки, l - номер слоя

Strict normalisation

methodBl

t = | |Wlt | |2 ⊙

sign(Wlt)

| |sign(Wlt) | |2

Theodore H. Moskovitz, Ashok Litwin-Kumar, and L.F. Abbott, Feedback alignment in deep convolutional networks, 2019

FA in Convolutional Networks (Sign Symmetry)

Результаты на ImageNetTheodore H. Moskovitz, Ashok Litwin-Kumar, and L.F. Abbott, Feedback alignment in deep convolutional networks, 2019

Several convolutional layers each followed by a pooling layer, with one or several fully-connected layers on top

Kolen-Pollack algorithm

Mohamed Akrout, Triage Collin Wilson, Peter C. Humphreys, Timothy Lillicrap, Deep Learning without Weight Transport, 2019

ΔBl+1 = − lr ⋅ yl ⋅ δTl+1

Веса B корректируются на собственных входах и обучающих сигналах от прямого прохода

+ l2 регуляризация

Kolen-Pollack algorithm

Mohamed Akrout, Triage Collin Wilson, Peter C. Humphreys, Timothy Lillicrap, Deep Learning without Weight Transport, 2019

ImageNet: FeedbackAlignment, SignSymmetry, Backprop, KollenPollack

a) ResNet-18, b) ResNet-50

Открытый вопросКрупнейшая нерешённая проблема —backprop through time Необходимо хранить промежуточные состояния и входные данные — непростая задача для группы реальных нейронов (или их моделей)

Хотим попробоватьОбучить RL-алгоритмы без weight transport