[Andrew Ng] 로지스틱 회귀

신경망에서 학습 방법은 정방향 전파와 역방향 전파가 있다. 이번 포스팅에서 다룰 로지스틱 회귀를 통해 정방향 전파와 역방향 전파에 관한 직관을 얻을 수 있다.

 

* 이진 분류 Binary Classification

 그렇다/아니다 2개의 결과로 분류하는 것을 말한다.

 

* 로지스틱 회귀

 이진분류를 위한 알고리즘

 

  # y예측값 : 입력 x값이 주어졌을 때 y가 1일 확률을 뜻함.

 

이진 분류를 위한 y예측값을 출력하는 알고리즘이 아래 사진과 같이 있다. 이진 분류를 위한 y 예측값은 y가 1일 확률이기에 항상 0과 1 사이의 값이어야 한다. 하지만, 선형회귀 사용 시 w transpose * X + b를 계산하므로 결괏값은 1보다 훨씬 크거나 음수일 수도 있다. 따라서 아래 사진의 알고리즘은 좋은 알고리즘이 아니다. 

아래 그림과 같이 y의 예측값에 sigmoid 함수를 적용하는 로지스틱 회귀로 계산하면 위의 알고리즘이 만족한다.

시그모이드 함수는 w transpose * X + b값이 아주 크면 값이 1에 수렴하고, w transpose * X + b 값이 음수이면 0에 수렴한다. 이러한 성질을 통해 선형 회귀에서 만족하지 못했던 y 예측값의 0과 1사이 범위를 만족한다.