DFR: Deep Feature Reconstruction for Unsupervised Anomaly Segmentation

Abstract 

Anomalies가 매우 작은 영역에 위치하는 경우 이를 검출하기가 매우 어렵다. 이 논문에서는 다양한 공간적 정보를 표현할 수 있는 multi-scale regional feature generator를 만들어서 문제를 해결한다. 이후 convolutional autoencoder를 사용한 feature reconstruction을 통해 anomalous region을 검출한다. 

 

 

Overview of DFR

Method

A. Hierarchical Image Feature Generation 

pre-trained CNN(VGG19)을 가져와서 input image에 대한 rich hierarchical discriminative feature를 생성한다. L개의 convolutional layer가 있으면 이와 같이 $\left\{\phi_{1}(\boldsymbol{x}), \phi_{2}(\boldsymbol{x}), \ldots, \phi_{L}(\boldsymbol{x})\right\}$ L개의 feature maps이 생성된다. 각각은 input image에 대한 abstraction 정도를 나타내는데 보통 layer가 깊어질수록 receptive field가 커지므로 좀 더 global한 정보를 담게 된다. 반면, shallow layer에서는 texture와 같은 low level 성격의 정보를 담고 있다. 

 

B. Multi-scale Regional Feature Generation 

Image의 모든 subregion에 대해서 multi-scale representation을 만드는 step이다. 

1) Alignment: 모든 feature map에 대해서 channel은 고정시킨 채 input image의 size로 resizing 한다. 

2) Aggregation: convolution operation을 통해 $h_{o} \times w_{o} \times c_{l}$을 만든다. 

효과

- noisy input에 더 강건하게 만들어줌 

- stride를 조절함으로써 aggregated feature representation의 크기를 변경할 수 있음 

3) Concatenation: 모든 aggregated feature maps을 concat해서 seingle feature map을 만든다. 

 

마지막에 생성된 feature map을 보면 input image에 대한 dense multi-scale regional description이다. 

 

multi-scale regional feature generator

C. Deep Feature Reconstruction 

위에서 생성된 feature map은 discriminative 성격을 가지고 있지만 feature dimension($c_{0}$)는 매우 크다. 효과적이고 빠른 anomaly detection을 위해 1x1 convolution과 ReLU operation으로 이루어진 convolutional autoencoder (CAE)를 사용하여 low-dimension으로 변환한다. 그리고 이 compressed된 feature map에 대해 복원 하는 절차를 거쳐서 l2 distance를 평가 지표로 각각의 regional representaion이 잘 복원되도록 학습 된다. 

 

D. Anomaly Scoring and Segmentation 

Anomlsy score map을 $A_{i, j}(\boldsymbol{x})=\left\|f_{i, j}(\boldsymbol{x})-\hat{f}_{i, j}(\boldsymbol{x})\right\|_{2}$ 이와 같이 구할 수 있다. 특정 임계값을 사용해 anomaly map을 binarize할 수 있고 이를 기반으로 어느 region이 이상인지 정상인지 판단할 수 있게 된다. 

Anomaly map의 size는 $h_{0}\times w_{0}$인데 bilinearly upsample을 통해 원래 input image의 size로 만들 수 있다. 

 

 

Experiments

CAE 학습 단계에서 feature dimension을 compression 할 때 PCA를 이용해 90%의 분산을 보존하는 선에서 regional feature의 subset을 랜덤하게 샘플링한다.