[ML 책] 차원 축소, 차원의 저주

머신러닝에 필요한 기초적인 수학 공부를 하기 위해  "선형대수와 통계학으로 배우는 머신러닝 with 파이썬" 이라는 책을 읽고 블로그에 요약해보고자 합니다. 오직 제 개인적인 공부 공간으로 사용할 목적으로 포스팅을 할 예정이니 자세한 내용이 궁금하신 분들은 아래 표지 책을 구매하여 공부하시길 바랍니다.

책 표지를 누르면 저자의 깃헙으로 이동됩니다:)

이전 포스팅  >>>>> [STUDY/인공지능] - [ML 책] 특이값 분해

[ML 책] 특이값 분해

---

[차원 축소]

• 노이즈 noise : data의 중요하지 않은 부분으로 데이터에서 정보를 얻을 때 방해함
• 노이즈 제거 방법 ? 차원 축소 dimension reduction
• 차원 축소 핵심? 주어진 데이터의 정보 손실을 최소화하면서 줄이는 것
• 특징 추출? 데이터 에서 두드러진 면을 찾는 것

차원 축소 방법
1. 비지도 학습 : PCA 주성분 분석
2. 지도 학습 : LDA 선형 판별 분석

 

[차원의 저주 Curse of  dimensionality]

• 차원 축소로 해결할 수 있음
• 데이터의 차원이 커질수록 해당 차원을 표현하기 위해 필요한 데이터가 기하급수적으로 많아짐을 의미
• training dataset의 차원이 클수록 차원의 저주 때문에 해당 공간을 적절히 표현 못해 overfitting 과적합이 될 확률이 높음