6.1 ~ 6.2 텍스트 데이터와 순환 신경망 이해하기 (p.244)

Lemonyun 2022. 3. 17. 03:22

Embedding 층은 정수 인덱스 하나를 밀집 벡터로 매핑하는 딕셔너리로 이해할 수 있다.

층이 많은 일반 네트워크(피드포워드 네트워크)에서 그래디언트 소실 문제가 나타나는 것과 같이 SimpleRNN에서도 비슷한 문제가 일어나기 때문에 텍스트와 같이 긴 시퀀스를 처리하는데 적합하지 않음

이런 SimpleRNN의 단점을 개선한 순환 층이 LSTM 층이다.