728x90
* Multi-head Self-Attention
- attention filter가 이미지가 들어왔을 때 어디에 강조할 지를 결정하는 것
- filter weiggt에 따라 강조하고 싶은 부분을 각각 attention 가능
- inductive bias가 적음
* ross-attention
- correlation layer를 통해 이미지 간의 correlation 정보 학습 가능
- 적은 이미지를 가지고 학습을 할때 이를 통해 강조 가능
*Stand-alone Self-Attention
- 지역적인 부분을 계산
- local과 gloabal 정보 계산 가능
728x90
'STUDY > 인공지능' 카테고리의 다른 글
| yaml 파일 다루기, 읽기, key value 값 뽑기 (0) | 2023.03.29 |
|---|---|
| np.array, ToTensor, ToPILImage 공부 (0) | 2023.03.28 |
| albumentations library (0) | 2023.02.24 |
| [ML 책] 머신러닝이란? (0) | 2022.11.05 |
| [실습 ML] Gradient descent algorithm (0) | 2022.02.07 |
