장단기 메모리

The Long Short-Term Memory (LSTM) cell can process data sequentially and keep its hidden state through time.

장단기 메모리(Long Short-Term Memory, LSTM)^[1]는 순환 신경망(RNN) 기법의 하나로 셀, 입력 게이트, 출력 게이트, 망각 게이트를 이용해 기존 순환 신경망(RNN)의 문제인 기울기 소멸 문제(vanishing gradient problem)를 방지하도록 개발되었다.

LSTM 네트워크는 기존 RNN에 존재하는 기울기 소멸 문제를 처리하는 것을 목표로 한다. 간격 길이에 대한 상대적 둔감성은 다른 RNN, 은닉 마르코프 모형 및 기타 시퀀스 학습 방법에 비해 장점이다. 이는 수천 단계 동안 지속될 수 있는 RNN용 단기 메모리, 즉 "장단기 메모리"를 제공하는 것을 목표로 한다. 필기, 음성 인식, 기계 번역, 음성 활동 감지, 로봇 제어, 비디오 게임, 의료 등 시계열 기반 데이터 분류, 처리 및 예측에 적용 가능하다.

일반적인 LSTM 유닛은 셀, 입력 게이트, 출력 게이트 및 망각 게이트로 구성된다. 세포는 임의의 시간 간격에 걸쳐 값을 기억하고 세 개의 게이트는 세포 안팎으로 정보의 흐름을 조절한다. 망각 게이트는 현재 입력과 비교하여 이전 상태에 0과 1 사이의 값을 할당하여 이전 상태에서 삭제할 정보를 결정한다. (반올림) 값 1은 정보를 유지한다는 의미이고, 값 0은 폐기를 의미한다. 입력 게이트는 망각 게이트와 동일한 시스템을 사용하여 현재 상태에 저장할 새로운 정보 조각을 결정한다. 출력 게이트는 이전 상태와 현재 상태를 고려하여 정보에 0부터 1까지의 값을 할당하여 현재 상태의 정보를 출력할 제어한다. 현재 상태에서 관련 정보를 선택적으로 출력하면 LSTM 네트워크가 유용하고 장기적인 종속성을 유지하여 현재와 미래의 시간 단계 모두에서 예측을 할 수 있다.

응용

• 시계열
• 음성 인식
• 필기 인식
• 수화
• 이상 탐지
• 비즈니스 성과 관리

같이 보기

• 딥 러닝
• 게이트 순환 유닛
• 장기강화
• 순환 신경망
• 시계열

각주

1. Sepp Hochreiter; Jürgen Schmidhuber (1997). “Long short-term memory”. 《Neural Computation》 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276. S2CID 1915014.