Deep Learning 학습하기

* Hyper Parameter

경험에 의해 결정되는 요소

learning rate, batch size, epoch 등

적합한 값을 찾기 위해 반복적인 실험과 많은 시간 투자가 필수이다.

 

* batch & batch size

data를 한개만 사용하기엔 정확한 정답을 찾는데 방해가 될 수 있다.

그러나, 전부를 사용하기엔 시간이 너무 오래 걸리므로 batch를 사용한다.

 

1000개 data의 batch가 10이면, 각 batch는 100개의 data보유.

batch size는 기존의 예시를 사용하거나 2의 제곱수를 사용.

 

* 에폭 Epoch & 스텝 Step

Epoch : 전체 데이터를 활용하여 학습하는 횟수

           전체 데이터를 10회 반복? 10에폭

Step : 모델이 가진 weight를 1회 update하는 것

 

* 지도학습

입력과 결과쌍에 의해 입력으로부터 출력을 끌어내는 규칙을 발견하는 것 (= 회귀 Regression)

 

* 비지도 학습

입력은 있지만 출력은 없는 속성들을 이용해 그룹으로 나누는 경우 (= 분류 clustering)

 

* 생성모델

GAN

 

* 강화학습

보상에 의해 행동을 개선해나가는 학습법

 

* 과대적합 Overfitting

모델이 학습 데이터에서는 ㅈㅎ은 성능을 보이지만, 새로운 데이터에 대해서는 좋은 성능을 보이지 못하는 결과

모델은 학습 데이터를 단순히 외웠다고 표현할 수 있으며, 모델이 문제를 일반화하지 못한다.

 

해경방법>

 1) 다양하고 많은 학습 데이터를 수집한다.

 2) Regularization을 통해 규칙을 단순하게 만든다.

 3) Outlier 이상치를 제거한다.

    그러나 데이터가 많다면 제거하는 것은 좋지 않음.

 

* 과소적합 Underfitting

모델이 학습 데이터를 충분히 학습하지 않아 모든 측면에서 좋지 않은 성능을 보여주는 결과

모델은 아직 성능이 개선될 여지가 남아있는 상태이다.

 

해결방법>

 1) 다양하고 많은 학습데이터를 수집한다.

 2) 더 복잡한 모델을 사용한다. deep하게

 3) 모델이 충분히 학습하도록 한다.