Vanilla Neural Network

: 지금까지 배운 architecture, 이미지 또는 벡터를 입력으로 받음, 입력 하나가 Hidden Layer를 거쳐서 하나의 출력으로 내보냄

Recurrent Neural Network

Process Sequence

: 네트워크가 다양한 입출력을 다룰 수 있는 여지를 제공, 가변 길이의 데이터를 다루기 위해 필요한 일반적인 방법

⇒ one to many 모델은 입력은 이미지와 같은 단일 입력이지만 출력은 caption과 같은 가변 출력

⇒ many to one 모델은 입력이 가변 입력 (문장,비디오), 출력이 단일 출력 (감정, 비디오 속의 action)

⇒ many to many 모델은 입출력 모두 가변 (번역기 : 입력이 영어 문장, 출력이 불어 문장) / 입력은 비디오와 같은 가변 입력이고 각 프레임마다 출력 값이 나와야 하는 상황 (many to many)

Non-Sequence data

: 고정 길이의 입출력이 필요한 상황에서도 유용

ex) 입력이 이미지이고 이미지의 숫자가 몇 인지 분류하는 문제 → 입력 이미지의 정답을 feed forward pass 한 번만 가지고 결정하는 것이 아니라 이미지의 여러 부분을 조금씩 살펴본 후 숫자 판단 ⇒ 입출력이 고정된 길이라고 해도 가변 과정인 경우에 유용함

동작 과정

• 작은 “Recurrent Core Cell” 을 가지고 있음
• 입력 x가 RNN으로 들어감 → RNN 내부에는 “hidden state”를 가지고 있음