Attention mechanism

* Multi-head Self-Attention

- attention filter가 이미지가 들어왔을 때 어디에 강조할 지를 결정하는 것

- filter weiggt에 따라 강조하고 싶은 부분을 각각 attention 가능

- inductive bias가 적음

 

* ross-attention

- correlation layer를 통해 이미지 간의 correlation  정보 학습 가능

- 적은 이미지를 가지고 학습을 할때 이를 통해 강조 가능

 

*Stand-alone Self-Attention

- 지역적인 부분을 계산

- local과 gloabal 정보 계산 가능