[ML 책] 고유값, 고유벡터, 고유값분해

머신러닝에 필요한 기초적인 수학 공부를 하기 위해  "선형대수와 통계학으로 배우는 머신러닝 with 파이썬" 이라는 책을 읽고 블로그에 요약해보고자 합니다. 오직 제 개인적인 공부 공간으로 사용할 목적으로 포스팅을 할 예정이니 자세한 내용이 궁금하신 분들은 아래 표지 책을 구매하여 공부하시길 바랍니다.

책 표지를 누르면 저자의 깃헙으로 이동됩니다:)

이전 포스팅  >>>>> https://chaeso-coding.tistory.com/139

[ML 책] 스칼라, 벡터, 행렬, 텐서, 행렬 곱, 행렬 원소곱, 행렬식, 역행렬

---

[행렬간 닮음 similar]

• $P^{-1}AP=B$를 만족하는 가역행렬 invertible matrix $P$가 존재할 때, 정사각 행렬 $A, B$는 서로 닮음 이라 함 (orthogonally similar)

 

 

[직교 대각화 orthogonal diagonalization]

• 대각 행렬 $D$에 대해 $P^{-1}AP=D$를 만족하는 직교 행렬 $P$가 존재하는 경우, 직교 행렬 $P$는 $A$를 직교대각화한다고 함
• 또한, $A$는 직교 대각화 가능 orthogonally diagonalizable 하다 함

 

*직교 대각화의 조건*

• 행렬 A가 직교 대각화 가능하려면 A는 반드시 대칭행렬이어야 함
• $A=A^{T}$
• 우리가 아는 유명한 대칭 행렬은 공분산 행렬이 있음

 

[고유값 eigen value]

• 특성 값을 말함
• 선형 변환 이후 변환된 크기

 

[고유벡터 eigen bector]

• 특성 벡터를 말함

 

[고유값 분해 eigen value decomposition]

• 직교대각화 한 종류로, 행렬을 고유벡터, 고유값의 곱으로 분해하는 것을 고유값 분해라고 한다.
• $P$를 고유값 분해에서는 고유 벡터를 이용해 만든다.
• 고유값은 대각 행렬의 원소에 해당한다

$\begin{pmatrix}
 \sigma_{11} & \sigma_{12} &  \sigma_{13}\\
 \sigma_{21} & \sigma_{22} & \sigma_{23}\\
 \sigma_{31} & \sigma_{32} & \sigma_{33}
 \end{pmatrix} = \begin{pmatrix}
  \mu_{1} & \mu_{2} & \mu_{3} \\
 \end{pmatrix}\begin{pmatrix}
 \lambda_{1} & 0 & 0\\
 0 & \lambda_{2} & 0\\
 0 & 0 &  \lambda_{3}
 \end{pmatrix}\begin{pmatrix}
 \mu^{T}_{1} \\
 \mu^{T}_{2}\\
  \mu^{T}_{3}
 \end{pmatrix} = PDP^{T}$

 

• $\lambda_{1},\lambda_{2},\lambda_{3}$는 고유값
• $\mu_{1},\mu_{2},\mu_{3}$는 고유벡터
• n 차원으로 일반화 가능

 

 

[고유값과 고유벡터가 중요한 이유]

• 정방행렬 $n \times n$인 $A$는 임의의 벡터 $n \times 1$인 $x$의 방향과 크기를 변화시킬 수 있으며 수 많은 벡터 $x$ 중 어떤 벡터들은 $A$에 의해 선형 변환 되었을 때 원래 벡터와 평행하다.
• 이렇듯 $Ax$가 원래 $x$에 상수 $\lambda$를 곱한 것과 같을 때의 $x$를 고유벡터, $\lambda$를 고유값이라 한다.
• $A$는 선형변환
• $Ax = \lambda x$

 

• 그림과 같이 $x_{1}$는 $A$에 의해 변환되었음에도 $x_{1}$과 평행하며 $x_{1}$은 고유벡터이다.

 

• 고유값과 고유벡터를 통해 $A$를 고유값과 고유벡터로 분해하는 고유값 분해, 특이값 분해, 주성분분석에 활용되므로 중요하다.