CV 도메인에 대하여 (박선규)

흔히 볼 수 있는 컴퓨터비전 태스크에 대한 사진

Taskonomy (CVPR 2018 Best Paper)

• 컴퓨터 비전에 관련된 26개의 태스크를 하나하나 정의하고, 한 태스크로의 모델을 학습시킨 후 전이학습에 대한 성능을 기준으로 두 태스크에 대한 관계(유사도)를 분석한 논문임.
• 태스크에 대한 연관관계보다는 태스크가 이렇게 많았구나..라는 인사이트를 얻게 됨.
• 이렇게 태스크가 많은데도, 학회를 가면 항상 새로운 것을 보게 됨. 연구분야가 굉장히 넓고 다양하다.

이미지에 관련된 것은 Convolution에 굉장한 의존성을 가지고 있다. 즉, Detection과 Segmentation 정도만 배우더라도 다른 컴퓨터비전 태스크를 접할 때 큰 어려움 없이 접할 수 있다.

OCR

ViT

Neural networks are computing systems vaguely inspired by the biological neural networks that constitute animal brains.

$$\begin{aligned} \frac{\partial \operatorname{loss}}{\partial w} &=\frac{\partial}{\partial w} \frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{y}_{i}\right)^{2} \\ &=\frac{\partial}{\partial w} \frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-w x_{i}-b\right)^{2} \\ &=-\frac{1}{N} \sum_{i=1}^{N}-2\left(y_{i}-w x_{i}-b\right) x_{i} \end{aligned}$$ $$\begin{aligned} &w \leftarrow w-\eta \frac{\partial \operatorname{loss}}{\partial w} \\ &b \leftarrow b-\eta \frac{\partial l o s s}{\partial b} \end{aligned}$$

시퀀스 데이터

• 소리, 문자열, 주가 등처럼 순차적으로 나타나는 데이터를 시퀀스 데이터로 분류한다.
• 독립동등분포(i.i.d.) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다.

$$P(X_1, ..., X_t) = P(X_t \mid X_1, ..., X_{t-1})*P(X_1,...,X_{t-1})\\=\prod_{s=1}^{t}P\left(X_{S} \mid X_{S-1}, \ldots, X_{1}\right)$$

• 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용할 수 있다.

• 시퀀스 데이터를 다루기 위해선 길이가 가변적인 데이터를 다룰 수 있는 모델이 필요하다.

  

  $H_T = Net_\Theta(H_{t-1}, X_{t-1})$​

• 시퀀스 길이가 길어지면 BPTT를 통한 역전파 알고리즘의 계산이 불안정해지므로 길이를 끊는 것이 필요하다. (truncated BPTT)

• 이러한 문제들 때문에 Vanila RNN은 길이가 긴 시퀀스를 처리하는데 문제가 있다.

  • 이를 해결하기 위해 등장한 것이 LSTM과 GRU이다.