Memoria larga a corto plazo

La memoria larga a corto plazo, (en inglés, long short-term memory o LSTM) es una arquitectura de red neuronal recurrente (RNN) desarrollada para abordar el problema de desvanecimiento de gradiente, que afecta la capacidad de las RNN tradicionales para aprender dependencias a largo plazo en secuencias de datos. A diferencia de otros modelos como los modelos ocultos de Markov, los LSTM pueden retener información durante miles de pasos temporales, lo que los convierte en una herramienta eficaz para procesar datos secuenciales.[1]​

La célula LSTM procesa datos secuencialmente y mantiene su estado oculto a lo largo del tiempo.

El núcleo de un LSTM es la célula de memoria, que retiene información durante intervalos de tiempo arbitrarios. Esta célula está controlada por tres tipos de puertas: la puerta de entrada, la puerta de salida y la puerta de olvido. La puerta de entrada regula qué nueva información se almacenará en la célula de memoria, la puerta de salida decide qué información se usará para generar la salida en el paso actual, y la puerta de olvido determina qué información debe eliminarse.[1]​

Estas características hacen que los LSTM sean efectivos en aplicaciones que requieren el procesamiento de secuencias largas de datos, como el reconocimiento de escritura y de voz, la traducción automática y la detección de actividad en el habla. En el reconocimiento de voz, por ejemplo, un LSTM puede identificar patrones en secuencias de audio que representan palabras o frases específicas, incluso en presencia de ruido o variaciones en el habla.[2]​

Además de sus aplicaciones en el procesamiento del lenguaje y el habla, los LSTM se utilizan en otras áreas como la predicción de series temporales, donde pueden prever valores futuros en secuencias basadas en patrones aprendidos de datos pasados. También se aplican en el control de robots, ayudando a los sistemas a aprender comportamientos complejos a partir de datos sensoriales continuos.[3]​

Con el tiempo, se han desarrollado variantes de la arquitectura LSTM para mejorar su rendimiento y ampliar sus aplicaciones. La introducción de las conexiones de peephole permite que las puertas accedan directamente al estado de la célula de memoria, mejorando la precisión en tareas que requieren un control más fino de la memoria.[4]​ También existe el LSTM convolucional, que integra capacidades de procesamiento de imágenes, útil en aplicaciones como la predicción de precipitaciones.[5]​

El entrenamiento de un LSTM se realiza mediante el algoritmo de retropropagación a través del tiempo, combinado con métodos de optimización como el descenso de gradiente. Este proceso ajusta los parámetros de la red para minimizar el error entre las predicciones del modelo y los resultados esperados, permitiendo que la red aprenda a hacer predicciones más precisas.[6]​

A pesar de sus ventajas, los LSTM pueden experimentar el problema del gradiente explosivo, donde los gradientes crecen exponencialmente y causan inestabilidad en el entrenamiento. Sin embargo, existen técnicas como la recorte de gradientes para gestionar estos problemas.[7]​

En la actualidad, los LSTM siguen siendo una herramienta fundamental en el aprendizaje profundo, especialmente en áreas que involucran secuencias temporales complejas. Su capacidad para aprender y retener información durante largos periodos de tiempo ha permitido avances en campos como el reconocimiento de voz, la traducción automática y la predicción de series temporales, consolidando su lugar como una de las arquitecturas más influyentes en la inteligencia artificial moderna.[8]​

Referencias

[editar]
  1. ↑ a b Sepp Hochreiter, Jürgen Schmidhuber (1997). «Long short-term memory». Neural Computation 9 (8): 1735-1780. doi:10.1162/neco.1997.9.8.1735. 
  2. ↑ Hasim Sak, Andrew Senior, Francoise Beaufays (2014). «Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling». 
  3. ↑ H. Mayer, F. Gomez, D. Wierstra, I. Nagy, A. Knoll, J. Schmidhuber (2006). «A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks». 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. 
  4. ↑ Felix Gers, Jürgen Schmidhuber, Fred Cummins (2000). «Learning to Forget: Continual Prediction with LSTM». Neural Computation 12 (10): 2451-2471. 
  5. ↑ Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung (2015). «Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting». Proceedings of the 28th International Conference on Neural Information Processing Systems. 
  6. ↑ Ovidiu Calin (2020). Deep Learning Architectures. Springer. p. 555. 
  7. ↑ S. Hochreiter, Y. Bengio, P. Frasconi, J. Schmidhuber (2001). Gradient Flow in Recurrent Nets: The Difficulty of Learning Long-Term Dependencies. 
  8. ↑ R. Dolphin (2021). «LSTM Networks – A Detailed Explanation».