Управляемый рекуррентный блок

Управляемые рекуррентные блоки (англ. Gated Recurrent Units, GRU) — механизм вентилей для рекуррентных нейронных сетей, представленный в 2014 году. Было установлено, что его эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти (LSTM).^[1] По сравнению с LSTM у данного механизма меньше параметров, т.к. отсутствует выходной вентиль.^[2]

Архитектура

${\displaystyle \circ }$ обозначает произведение Адамара. ${\displaystyle h_{0}=0}$.

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

Переменные

• ${\displaystyle x_{t}}$: входной вектор
• ${\displaystyle h_{t}}$: выходной вектор
• ${\displaystyle z_{t}}$: вектор вентиля обновления
• ${\displaystyle r_{t}}$: вектор вентиля сброса
• ${\displaystyle W}$, ${\displaystyle U}$ и ${\displaystyle b}$: матрицы параметров и вектор

Функции активации

• ${\displaystyle \sigma _{g}}$: на основе сигмоиды.
• ${\displaystyle \sigma _{h}}$: на основе гиперболического тангенса.

См. также

• Долгая краткосрочная память

Примечания

1. Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". arXiv:1412.3555 [cs.NE].
2. Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML  (неопр.). Дата обращения: 18 мая 2016. Архивировано 27 октября 2015 года.