[밑바닥부터 시작하는 딥러닝] 8강 더 깊게 딥러닝

1. MNIST 발전

딥러닝을 더 깊게 만들수록 성능이 좋아진다고 알려져있다.

 

실제로 VGG 신경망을 참고하여 더 깊게 신경망을 구성하고, 3*3 작은 필터 사용, 활성화 함수는 ReLu, 드롭아웃 layer 사용, adam이용해서 최적화, He 초깃값을 이용하면 정확도를 99%까지 올릴 수 있다.

 

https://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html

Classification datasets results

 

위의 링크를 들어가보면 더 좋은 성능을 확인할 수 있는데 data augmentation, ensemble training, learning rate 등을 사용하였다.

 

 

2. 층을 깊게하면 얻는 이점

- 신경망의 매개변수가 줄어든다.

5 * 5 필터로 처리하는 것이 3 * 3을 두 번 사용하는 것으로 처리되어서 25 - 18 = 7개가 절약된다. 이는 신경망이 깊어질수록 절약되는 수가 많을 것이다.

- 효율적인 학습이 가능하다.

얕은 신경망으로부터 특징 대부분을 '한번에' 이해하긴 어렵다.  그래서 보통 많은 데이터와 학습시간이 오래걸리게 된다. 그러나 깊게 하면 학습할 때 더 단순한 문제로 대체할 수 있다. 에지나 그런 basic feature가 나온 이미지는 많고 간단하기 때문이다.

 

 

3.역사

ImageNet -> VGG -> GoogLeNet -> ResNet ( skip connection 사용 )

 

 

4. 딥러닝이 발전하게 된 계기

gpu, big data, distributed learning, 연산 정밀도와 비트 줄이기

 

 

5. 딥러닝 활용

1) object detection - R-CNN, 입력 이미지 -> 후보 영역 추출 -> CNN 특징 계산 -> 영역 분류

2) segmentation

3) 사진 캡션 생성 - RNN, 컴퓨터 비전, 자연어 처리 융합 ( multimodal processing )

 

 

6. 딥러닝의 미래

1) 이미지 스타일 변환, 스타일 행렬

2) 이미지 생성, GAN

3) 자율주행, SegNet

4) 강화학습

 

끝