반응형
[ADsp 정리] 3-5-4. 인공신경망(Artificial Neural Network)
정의
- 인간의 뇌를 기반으로 추론하는 모델
- 가중치를 반복적으로 조정하여 학습
- 인공신경망은 가중치를 초기화 하고 훈련 데이터를 통해 가중치를 갱신하여 학습 함
특징
- 입력 신호에서 여러 신호를 받아 활성화 수준을 계산하여 출력 링크로 신호를 보내는 과정
- 뉴련은 활성화 함수(Activation Funtion)을 사용한다.
- Sigmoid Function : 이진 분류, SoftMax Funtion : 다중 분류, Relu함수 Hidden Layer에 자주 쓰이는 활성화함수
신경망 모형 구축시 고려사항
A) 입력 변수
- 범주형 변수 : 각 범주의 빈도가 일정,
- 연속형 변수 : 변수간의 큰 차이가 없을 때
B) 전처리
- 범주형 : 1과 0 과 같이 정량적이고 같은 범위를 갖도록 가변수화 필요
- 연속형 : 입력 변수의 분포가 평균을 중심으로 대칭이면 학습이 잘됨, 변환과 범주화 필요
(변환 : 로그 변환, 범주화 : 빈도가 비슷하게 설정)
C) 인공신경망의 특징
- 초기화 : Backpropagation을 활용하므로 초기 값에 민감함
- 일반적으로 가중치가 작으면 선형 모델에 가깝고, 값이 크면 비선형 모델에 가까워 진다.
D) 학습 모드
- 온라인 학습 모드 (Online Learning Mode) : 순차적으로 하나씩 신경망에 투입
- 확률적 학습 모드 (Probabilistic Learning Mode) : 신경망에 투입되는 관측 값이 랜덤
- 배치 학습 모드 (Batchg Learning Mode) : 데이터를 한번에 투입
E) 은닉층과 은닉 노드
- 층이 깊어지면 과대적합 발생 가능성 존재
- 층이 얇으면 과소적합 발생 가능성 존재
- 은닉수가 1개이면 Universal Approximator로 매끄러운 함수를 근사적으로 얻을 수 있으므로 한개부터 학습을 시작
- 노드의 수는 큰 값에서 부터 작게하는 것이 좋다.
F) 과대 적합
- 조기 종료를 통해 과대 적합 문제를 해결할 수 있다.
- 검증 오차가 증가하기 시작하면 조기종료를 하면 된다.
반응형