[과적합 줄이는 방법2] Regularization, Argumentation

[과적합 줄이는 방법2] Regularization, Argumentation

 

 

appendix. 한글 내용

과적합을 줄이는 방법2

1. 정규화 기법
- Loss에 웨이트 가중치 항을 더하여 전체 Loss는 증가함
- 웨이트가 작으면 일반화에 유리하기 떄문이다.

사례) Image Reconstruction
- GAN이란 Generative Adversarial Network로 적대적 생성 신경만이다
- 비지도 학습이 GAN은 평가에 있어서 주관적이 요소가 많이 개입되므로 Regularization을 사용하여 튜닝이 필요하다.
- 또한 평가하는 방법은 이미지 대회에서 우승한 신경망을 기반으로 평가를 수행한다. Fake Image와 Real Image를 VGG Network에 입력으로 하고 나온 특징 값을 비교하여 만든 loss가 vgg loss 이다.


2. Data Argumentation
- 데이터가 부족하면 데이터 증강이 필요하며, 이를 data argumentation이라고 한다.
- Data Argumentation 기법에는 다양한 방법이 있으며, 서로의 조합을 새로운 Argumentation 기법을 만들 수 있다.
- Argumentation 기법의 순서에 영향을 미치지 않는 것을 invariant, 영향을 미치는 것을 variant라고 한다.