Note

lstm = LSTM(3, return_sequences=False, return_state=True) hidden_state, last_state, last_cell_state = lstm(train_X) print('hidden state : {}, shape: {}'.format(hidden_state, hidden_state.shape)) print('last hidden state : {}, shape: {}'.format(last_state, last_state.shape)) print('last cell state : {}, shape: {}'.format(last_cell_state, last_cell_state.shape)) hidden state : [[-0.00263056 0.2005..

RNN은 출력 결과가 이전의 계산 결과에 의존하기 때문에 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다. 시점이 지날수록 정보량이 손실되어 시점이 길어지게 되면 전체 정보에 대한 정보량이 의미가 없어지게 될 수도 있다. 이를 장기 의존성 문제(the problem of Long-Term Dependencies)라고 한다. 1) 입력 게이트 현재 정보를 기억하기 위한 게이트. 현재 시점의 값과 입력 게이트로 이어지는 가중치를 곱한 값과 이전 시점의 은닉 상태가 입력 게이트로 이어지는 가중치를 곱한 값을 더하여 시그모이드 함수를 지난다. 현재 시점 값과 입력 게이트로 이어지는 가중치를 곱한 값과 이전 시점의 은닉 상태가 입력 게이트로 이어지는 가중치를 곱한 값을 더하여 하이퍼볼릭..