در شبکه عصبی بازگشتی برخلاف شبکه عصبی پیشخور، ورودی میتواند به صورت دنباله (مثل صوت یا ویدیو) باشد. این ویژگی باعث شده شبکههای عصبی بازگشتی برای پردازش دادههای زمانی بسیار مناسب باشند زیرا الگوها در دادههای سری زمانی میتوانند در فواصل مختلف واقع شوند. برای مثال، شبکه LSTM در حوزههایی همچون تشخیص دست خط[۴]، ترجمه ماشینی[۵][۶]، تشخیص گفتار[۷][۸]، کنترل رباتها[۹][۱۰] و بازیهای ویدیویی[۱۱][۱۲] قابل استفاده است.
یک بلوک LSTM به طور کلی از وزنهای محتوای سلول()، دروازه ورودی()، دروازه خروجی() و دروازه فراموشی() تشکیل شده است.[۱۳][۱۴] محتوای سلول میتواند در بازه زمانی طولانی محتوای خود راه حفظ کند و در واقع اطلاعات پیشین را به خاطر بسپارد. دروازهها نیز بردارهایی با مقادیر بین 0 و 1 هستند که چگونگی پیشروی اطلاعات قدیمی و اضافه شدن اطلاعات جدید را مشخص میکنند. به طور کلی 1 به معنای عبور و 0 به معنای حذف اطلاعات است. دروازه ورودی مشخص میکند چه بخشهایی از داده ورودی و به چه مقدار به محتوای سلول اضافه شوند. دروازه فراموشی مشخص میکند که چه بخشهایی از محتوای سلول از آن حذف شوند. دروازه خروجی نیز مشخص میکند محتوای وضعیت مخفی() حاوی چه بخشی از محتوای سلول باشد.
یکی از مشکلات اصلی شبکههای عصبی بازگشتی، مشتق ناپدیدشونده یا vanishing gradient problem و مشتق انفجاری یا exploding gradient است. در بلوک LSTM به منظور حل این دو مشکل، راههایی برای انتقال اطلاعات مهم پیشین در هنگام پیشروی ایجاد شدهاست. این مهم به طور کلی از طریق ضرب بردارهایی تحت عنوان دروازه، در ورودیهای بلوک صورت میپذیرد.[۱۵]
در مسایل حاوی spatial data همچون تصویر به عنوان ورودی، معماریهای کاملا متصل(Fully Connected) عملکرد خوبی دارند، اما از لحاظ محاسباتی نابهینه هستند. معماری پیچشی با جایگزینی عملگر پیچش به جای ضرب ماتریسی، سعی در حذف این نابهینگی دارد.
یادگیری در مدل LSTM را میتواند همچون دیگر مدلهای شبکه عصبی بازگشتی، با استفاده از الگوریتم گرادیان کاهشی و برگشت در زمان یا Backpropagation through time انجام شود.
همانطور که گفته شد، یکی از مهمترین مشکلات معماری اولیه RNN ها مسئله مشتق ناپدیدشونده است. با افزایش طول ورودی شبکات RNN و در فرایند برگشت در زمان به توانهای بالای ماتریس وزنها بر میخوریم که نهایتا منجر به مشکل مشتق انفجاری یا ناپدیدشونده میشود. مشکل مشتق انفجاری بوسیله روشهایی همچون Gradient Clipping قابل حل است. بلوک LSTM با استفاده از دروازهها امکان انتشار اطلاعات از لایههای اول و برگشت مشتق از لایههای آخر را فراهم میکند.[۱]
↑Klaus Greff, Rupesh Kumar Srivastava, Jan Koutník, Bas R. Steunebrink, Jürgen Schmidhuber. "LSTM: A Search Space Odyssey". arXiv:1503.04069.{{cite arxiv}}: نگهداری یادکرد:استفاده از پارامتر نویسندگان (link)
↑Li, Xiangang; Wu, Xihong (2014-10-15). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL].
↑Mayer, H.; Gomez, F.; Wierstra, D.; Nagy, I.; Knoll, A.; Schmidhuber, J. (October 2006). A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 543–548. CiteSeerX10.1.1.218.3399. doi:10.1109/IROS.2006.282190. ISBN978-1-4244-0258-8. S2CID12284900.