[컴퓨터비전] Super Resolution

Super Resolution

Super Resolution : 저해상도 영상을 고해상도 영상으로 변환하는 작업을 의미

Image Super Resolution은 저해상도(Low Resolution) 이미지를 고해상도(High Resolution) 이미지로 변환 시키는 문제를 의미. TV 영상 화질 개선, MRI, CT 이미지 개선, 범죄 예방을 위한 CCTV 화질 개선 등 다양한 분야에서 활용됨.

 

Image Super-Resolution 문제의 어려움

- Image Super-Resolution은 유일한 정답이 존재하지 않는 ill-posed problem 존재.

- 저해상도 이미지를 고해상도로 복원할 때 정답이 단 1개만 존재하지 않음

 

딥러닝 모델을 적용한 Image Super-Resolution

Computer Vision 영역에서 좋은 성능을 보이고 있는 다양한 딥러닝 모델을 적용해 Image Super-Resolution 문제를 해결하려는 연구가 다수 진행되고 있다.

Image Super-Resolution 분류

Supervised Learning

- 저해상도 이미지로 고해상도 이미지를 예측하는 Supervised Learning 방식

Generative Adversarial Network(GAN)

- GAN을 활용해 고해상도 이미지를 생성하는 방식

 

 

Image Super-Resolution 특징

1. 저해상도 이미지와 고해상도 이미지 크기가 다른 문제를 어떻게 다룰 것인가?

→ Interpolation, Transpose convolution, Sub-pixel convolution 등으로 Upsampling 진행

 

먼저 저해상도인 Input 이미지를 고해상도 이미지 크기에 맞춰야함.

크기를 맞춘 뒤, 빈 영역에 대한 값을 어떻게 채울 것인가에 대한 고민이 필요

Upsampling 방법

- 인접 픽셀 값을 활용해서 빈 영역을 채우는 interpolation 방법

- Upsampling이 가능한 Layer를 활용해서 upsampling parameter를 학습하는 방법

 

Upsampling 방법 - Interpolation

Nearest-neighbor Interpolation

- Interpolation 방법 중에서 가장 간단한 방법

- 빈 픽셀은 가장 가까운 픽셀 값으로 채우는 방법

Bilinear Interpolation

- 인접한 4개 픽셀에 대한 거리를 가중치로 두어 빈 영역을 채우는 방법

- 빈 영역에 대해 거리 가중치를 둔 평균값을 계산하는 것과 동일

Bicubic Interpolation

- 인접한 16개 픽셀에 대한 거리를 가중치를 곱해서 계산함

- 먼저 세로줄 픽셀 값으로 붉은색 영역의 1차원 cubic interpolation을 진행

- 이후 노란색 영역 픽셀 값을 1차원 cubic interpolation으로 계산

인접한 데이터를 가장 많이 활용하는 bicubic interpolation 방법이 가장 성능이 좋고 자주 활용된다.

 

Interpolation 이미지 비교

- 원본 이미지의 특정 부분을 확대하면서 다양한 interpolation 방법을 적용

- Bicubic interpolation 방법일 때 가장 선명하게 확대되었음을 확인

Upsampling 방법 - Learning-based upsampling

Transpose Convolution

- 이미지 크기를 확대하기 위해 사용하는 Convolution 기법

- 저해상도 이미지를 먼저 고해상도 이미지 크기에 맞춰서 확장함

- 확장한 영역에는 모두 0 값으로 채움

- Transpose Convolution 연산 이후 원하는 Output Data 크기로 만들기 위해 필요한 크기만큼 zero padding을 진행

- 원하는 Output 크기에 맞는 Convolution Filter 크기 설정

- Convolution 연산을 순차적으로 진행

- Convolution Filter 내 weight는 모델 학습으로 결정됨

 

Sub-pixel convolutional layer

- Sub-pixel convolutional layer는 convolution 연산으로 여러 개의 feature map을 추출하고 같은 픽셀 위치에 있는 값을 모아 upsampling 진행

 

- 같은 픽셀 위치에 있는 값을 모아 Output 생성

 

Image Super-Resolution 프레임워크

- 모델 내에 Upsampling을 하는 위치에 따라 다양한 Framework가 존재

- 연구에 따라 Upsampling 방식을 다양하게 적용할 수 있음

 

 

2. Image Super-Resolution 문제에 어떻게 딥러닝 모델을 적용할 것인가?

→ 일반적인 딥러닝 모델에서 사용하는 알고리즘 모두 사용 가능

 

Image Super-Resolution 네트워크

- ResNet, DenseNet 등 일반적인 분류 문제에서 사용한 딥러닝 모델 구조 및 특징 적용

- Input 이미지의 특징을 잘 추출하기 위한 Network 구성도 있음

 

일반적인 분류 문제에서 사용하는 딥러닝 모델 구조 및 특징

- Image Super-Resolution 모델 성능을 향상시키기 위해 일반적인 분류 문제에서 사용하는 딥러닝 모델 구조를 다양하게 적용한 연구들이 많이 진행되고 있음

 

Loss function in image Super-Resolution

- 많은 연구에서 L1 loss와 L2 loss를 사용하고 있음

 

3. 고해상도 이미지 변환이 잘 되었다는 것을 어떻게 평가할 것인가?

→ PSNR, SSIM을 중심으로 고해상도 이미지 변환이 잘 되었음을 평가

 

PSNR

- Peak signal to noise ratio(PSNR)은 최대 신호 대 잡음비를 의미

- 압축된 영상의 화질에 대한 손실 정보를 평가

- PSNR은 원본 이미지 대비 손실된 품질의 정도를 알 수 있음

- 하지만 원본 이미지에 따라 PSNR 값이 유사하더라도 화질의 차이 있을 수 있음

 

SSIM

- Structural similarity index(SSIM)은 인간의 시각적 화질 차이 및 유사도 평가를 위해 고안

- 이미지의 구조 정보의 왜곡 정도가 사람의 지각에 큰 영향을 미친다는 것을 반영

**휘도 : 얼마나 정확한 색상을 표현하는지

 

 

 

 

 

Image Super-Resolution 모델 정리

- 모델별 upsampling 방식, 네트워크 구조 특징, loss function, keywords가 정리되어 있음

Wang, Z., Chen, J., & Hoi, S. C. (2020). Deep learning for image super-resolution: A survey. IEEE transactions on pattern analysis and machine intelligence.

 

---

참고 사이트

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=dic1224&logNo=220840978075 

http://dmqm.korea.ac.kr/activity/seminar/318

 

추후 참고할 문헌

[1] Wang, Z., Chen, J., & Hoi, S. C. (2020). Deep learning for image super-resolution: A survey. IEEE transactions on pattern analysis and machine intelligence.
[2] Dong, C., Loy, C. C., He, K., & Tang, X. (2015). Image super-resolution using deep convolutional networks. IEEE transactions on pattern analysis and machine intelligence, 38(2), 295-307.
[3] Dai, T., Cai, J., Zhang, Y., Xia, S. T., & Zhang, L. (2019). Second-order attention network for single image super-resolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 11065-11074).