basic RNN에는 두 가지 단점이 존재한다. 1. Long-range dependencies가 있는 경우, 이에 대응하기 어렵다 2. Gradient vanishing problem 1. Gated Recurrent Unit (GRU) GRU를 활용하면 long-range connection을 더 잘 포착할 수 있고, vanishing gradient 문제를 많이 해결할 수 있다. GRU는 update gate를 활용해서, 많은 time step이 지나서도 기억해야 하는 정보들을 기억하게 할 수 있다. 위의 그림은 GRU의 이해를 돕기 위해 그려졌고, 사실 $\tilde{C}^{\langle t \rangle}$의 식은 아래와 같다. 2. Long Short Term Memory (LSTM) : GR..
