장단기 메모리(Long Short-Term Memory, LSTM)

RNN은 출력 결과가 이전의 계산 결과에 의존하기 때문에 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다.

시점이 지날수록 정보량이 손실되어 시점이 길어지게 되면 전체 정보에 대한 정보량이 의미가 없어지게 될 수도 있다.

이를 장기 의존성 문제(the problem of Long-Term Dependencies)라고 한다.

출처 : https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/

1) 입력 게이트

현재 정보를 기억하기 위한 게이트.

현재 시점의 값과 입력 게이트로 이어지는 가중치를 곱한 값과 이전 시점의 은닉 상태가 입력 게이트로 이어지는 가중치를 곱한 값을 더하여 시그모이드 함수를 지난다. 

현재 시점 값과 입력 게이트로 이어지는 가중치를 곱한 값과 이전 시점의 은닉 상태가 입력 게이트로 이어지는 가중치를 곱한 값을 더하여 하이퍼볼릭탄젠트 함수를 지난다.

시그모이드 함수를 지나는 값과 하이퍼볼릭탄젠트 함수를 지나는 값을 가지고 기억할 정보의 양을 정한다.

2) 삭제 게이트

기억을 삭제하기 위한 게이트. 현재 시점 값과 이전 시점의 은닉 상태가 시그모이드 함수를 지난다.

0과 1사이의 값을 가지며, 0에 가까울수록 정보가 많이 삭제된 것이다.

3) 출력 게이트

현재 시점의 값과 이전 시점의 은닉 상태가 시그모이드 함수를 지난 값이다.