History of Neural networks

• 1957년 Frank Rosenblatt가 Mark I Perceptron machine을 개발 ⇒ Perceptron을 구현한 최초의 기계

  • $f(x) = \begin{cases} 1 &\text{if } w \cdot x +b >0 \\ 0 &\text{otherwise } \end{cases}$함수를 사용
  • 가중치를 update하는 update rule도 존재, Backpropagation과 유사하지만, W를 이리저리 조절하며 맞추는 방식

• 1960년, Widrow와 Hoff가 Adaline and Madaline을 개발 ⇒ 최초의 Multilayer Percpetron network

  • Backpropagation과 같은 학습 알고리즘은 없음

• 1986년 Rumelhart가 최초의 Backpropagation 제안 ⇒ 최초로 network를 학습시키는 것에 관한 개념이 정립

  

• 2006년 Hinton과 Ruslan Salakhutdinov가 DNN의 학습 가능성 보임

  • 전처리 과정 필요, RBM을 이용해서 각 Hidden layer 가중치를 학습

• 2012년 Hinton lab에서 영상 인식 관련 논문을 발표 → ImageNet Classification에서 최초로 NN울 사용

CNN이 유명해진 과정

• 1950년대 Hubel & Wiesel이 일차 시각 피질의 뉴런에 관한 연구 수행
  • 피질 내부에 지형적인 매핑 (topographical mapping)이 있다는 사실 발견
  • 뉴런들이 계층 구조를 지님
• 1980년 Hubel & Wiesel의 연구를 사용한 Neurocognitron은 최초의 NN
• 1998년 YANN LeCun이 최초로 NN을 학습시키기 위해 Backpropagation과 gradient-based learning을 적용
  • 문서 인식에 잘 동작
  • 우편 번호 인식에 사용
• 2012년 Alex Krizhevsky가 CNN의 부흥을 이끌어냄 → AlexNet이라고도 불림
  • YANN LeCun의 CNN보다 더 크고 깊어짐
  • 대규모의 데이터 활용과 GPU 활용 측면에서 중요한 의미를 가짐
• 현재 ConvNet은 어디든지 사용됨
  • Detection(Bounding box), Segmentationㅡ 자율 주행 자동차, 비디오, pose recognition 등에 사용

Convolutional Neural Networks

Fully connected layer