[ML 책] 스칼라, 벡터, 행렬, 텐서, 행렬 곱, 행렬 원소곱, 행렬식, 역행렬

머신러닝에 필요한 기초적인 수학 공부를 하기 위해  "선형대수와 통계학으로 배우는 머신러닝 with 파이썬" 이라는 책을 읽고 블로그에 요약해보고자 합니다. 오직 제 개인적인 공부 공간으로 사용할 목적으로 포스팅을 할 예정이니 자세한 내용이 궁금하신 분들은 아래 표지 책을 구매하여 공부하시길 바랍니다.

책 표지를 누르면 저자의 깃헙으로 이동됩니다:)

이전 포스팅  >>>>> [STUDY/머신러닝\딥러닝] - [ML 책] 지도 학습과 비지도 학습의 목적과 차이, 파라미터와 하이퍼 파라미터의 차리

[ML 책] 지도 학습과 비지도 학습의 목적과 차이, 파라미터와 하이퍼 파라미터의 차리

---

[행렬 matrix]

• 행 row (가로)
• 열 cloumn (세로)
• 스칼라와 벡터로 구성됨

 

$a_{ij}$

$i$ : 행 번호

$j$ : 열 번호

 

• 행렬은 벡터의 집합

 

 

[스칼라 scalar]

• 숫자
• 크기가 있음
• 행렬의 원소 element

 

 

[벡터 vector]

• 스칼라 집합
• 크기와 방향이 있음
• row vector 가로 방향 벡터
• column vector 세로 방향 벡터

 

 

[텐서 tensor]

• n차원으로 일반화한 행렬

 

 

[대각 행렬 diagonal matrix]

• 대각 원소 이외의 모든 성분 0

 

$\begin{pmatrix}
 2 & 0 & 0\\
 0 & 3 & 0\\
 0 & 0 & 7
 \end{pmatrix} $

 

 

[단위 행렬 identity matrix]

• 주대각선(행 번호 = 열 번호)의 원소가 모두 1
• 나머지 원소 모두 0인 정사각 행렬(square matrix)

 

$\begin{pmatrix}
 1 & 0 & 0\\
 0 & 1 & 0\\
 0 & 0 & 1
 \end{pmatrix} $

 

• 행렬 이용시 연산량이 많아질 수 있음
• 주어진 행렬을 대각 행렬이나 단위 행렬로 변환한다면 연산량이 훨씬 줄어듬

 

 

[전치 행렬 transposed matrix]

• 행과 열을 바꾸는 행렬

$a_{ij} \rightarrow  a_{ji}$

 

$ A=\begin{pmatrix}
 a_{11} & a_{12} \\
 a_{21} & a_{22} \\
 a_{31} & a_{32} 
 \end{pmatrix}$

 

$A^T = \begin{pmatrix}
 a_{11} & a_{21} & a_{31}\\
 a_{12} & a_{22} & a_{32} 
 \end{pmatrix} $

 

[행렬의 덧셈과 뺄셈]

• 두 행렬의 크기가 같아야 연산 가능

 

 

[행렬 곱 matrix multiplication]

 

$A  \times  B  \Rightarrow AB$

 

$(m \times r) \times (r \times n) \Rightarrow (m \times n)$

 

 

[행렬 원소 곱 matrix element multiplication]

• 차원이 동일한 두 행렬의 동일 위치 원소 서로 곱
• 최적화에서 많이 사용됨

$(A  \odot B)_{ij} = a_{ij}b_{ij}$

 

$A =  \begin{pmatrix}
 1 & 2 \\
 3 & 4
 \end{pmatrix} $

 

$B =  \begin{pmatrix}
 4 & 5 \\
 6 & 7
 \end{pmatrix} $

 

$A \odot B =C =  \begin{pmatrix}
 1\times4 & 2\times5 \\
 3\times6 & 4\times7
 \end{pmatrix} =  \begin{pmatrix}
 4 & 10\\
 18 & 28
 \end{pmatrix}$

 

 

[행렬식 determinant]

• 행렬의 특성을 하나의 숫자로 표현
• 행렬식 절댓값은 해당 행렬이 단위공간을 얼마나 늘렸는지/줄였는지 나타냄

 

• 만약 행렬식이 1이면, 해당 행렬이 단위공간의 부피와 같다는 뜻
• 만약 행렬식이 0이면, 해당 행렬이 나타내는 부피가 0임을 나타냄
• 만약 행렬식이 10이면, 행렬이 단위 공간 부피의 10배에 해당됨

 

 

[역행렬 inverse matrix]

• 만약 $AB=I$이면 $AA^{-1}=A^{-1}A=I$
• 역행렬을 구하려는 행렬의 행렬식이 0이라면 역행렬 존재가 없음
• 역행렬이 존재하는 행렬을 가역 행렬 invertible matrix라고 부름