Schwenzow et al. (2021)에 나온 video feature 를 소개하는 네 번째 포스팅이다. 오늘 소개할 feature 는 quality 이다.

4. Quality

7) Quality

사실 이미지 quality 에 대해서 아직 공부를 해 놓은 것이 없어서 단정적으로 얘기할 수는 없지만, 크게 미학적(aesthetic)인 quality 와 공학적(?)인 quality 두 측면에서 논의되는 것 같다. 물론 양자가 겹치는 부분도 있다. 미학적 quality 는 사람에게 얼마나 아름답게 보이는가 하는 점을 주로 다루는 것 같고, 공학적인 quality 는 주로 정보의 저장과 전달 측면을 다루는 것 같다. 지금까지 해오고 있는 photo feature 나 video feature 같은 내용과 겹치는 부분도 많은 것 같다.

이 논문에서 이 feature 는 잘 설명되어 있다. 일단 “As a measure for quality, we evaluate the focus in the frames” 라고 하면서, 사진의 초점을 중심으로 이미지의 quality 를 측정했다고 밝히고 있다. 초점은 미학적 측면과 공학적 측면을 다 가지고 있는 것 같다(나중에 다시 공부해보면 생각이 바뀌게 될지도 모른다). 알고리즘은 Pech-Pacheco et al. (2000) 이라는 논문에 제시된 것을 썼다고 한다. 기본적인 접근은 아래와 같다.

The idea behind this method is the assumption that high-quality images have regions with sharp edges as well as regions without large differences in intensity. The Laplace filter – a discretization of the Laplace operator (sum of the second derivatives) – is used to detect edges as a convolution with the following kernel:

\[\frac{1}{6} \begin{pmatrix} 0 & 1 & 0 \\ 1 & -4 & 1 \\ 0 & 1 & 0 \end{pmatrix}\]

이렇게 라플라시안 필터를 적용한 후, 그것의 분산을 구한 값을 quality 로 사용한다고 설명하고 있다. 왜냐하면,

A high variance of the obtained result indicates both the presence of sharp edges and areas without edges, which typically coincides with proper lighting and a high-quality camera (no blurriness or optical aberration). Accordingly, we use it as an indicator of quality images.

어쨌든 이렇다. 이렇게 영상의 각 frame 별로 quality 를 구하고, 영상의 frame 들을 아울러 평균을 구하면 그것이 video quality 가 된다. 논문의 코드에서는 모든 프레임이 아니라 각 10번째 프레임들만을 골라서 분석에 사용했다.

다른 feature 들에 비해 설명이 명확해서 매우 좋다.

<참고문헌>

  • Pech-Pacheco, J. L., Cristóbal, G., Chamorro-Martínez, J., & Fernández-Valdivia, J. (2000). Diatom autofocusing in brightfield microscopy: a comparative study. In Proceedings 15th international conference on pattern recognition: Vol. 3 (pp. 314–317).

  • Schwenzow, J., Hartmann, J., Schikowsky, A., & Heitmann, M. (2021). Understanding videos at scale: How to extract insights for business research. Journal of Business Research, 123, 367-379. https://doi.org/10.1016/j.jbusres.2020.09.059