ML 5-1. [Deep Neural Network] basic concept

뇌의 구조

입력(x)에 따라, 길이(w)에 따라 전달되는 양이 다름 -> w*x

시냅스로부터 전해진 값들을 합하고 어떤 값(b)이 추가된 결과가 역치(activation function) 이상이면 동작한다.

---

  

---

Backpropagation

결과에 따라 backpropagation하면서, weight를 반영, 1974, 1982 by Paul Werbos, 1986 by Hinton

---

Convolutional Neural Networks

한 번에 학습이 힘들기 때문에 그림을 잘라서 하나씩 보내면서 학습 -> 나중에 합침

---

Backpropagation의 문제점 

: layer가 많아지면 err반영이 앞에 레이어까지 전달이 안 됨. ( 약해져서.. ) -> 학습이 안됨.

---

CIFAR란 기관(캐나다)이 AI 지원

Hinton이 캐나다로 이주. 

지속적으로 개발

학습이 된다.

2006년 우리가 weight의 초기값을 잘 주면, 학습이 된다.

2007년 확인하고, 실제 문제에 적용해 논문을 통해 증명

IMAGE NET이라는 그림이 무엇인지 맞추는 대회가 있는데, 2012년에 Hinton 교수의 연구실의 alexa란 사람이 획기적으로 개발.

2015년에는 MSRA이란 팀에서 개발한 프로그램이 사람 보다 높은 성능

스탠포드의 그림 전공 학생의 에러율 보다 낮은 에러율.

MSRA와 홍콩과기대에서 개발한 Deep API learning

"copy a file and save it to your destination path"

-> 어떤 API를 써야 하는지 나열해줌

---