최근에 사진 데이터 분석에 사용되는 feature 에 대한 공부를 시작했다. 지금까지 진행해온 연구들에서 사용한 feature 들이 있지만, 기존 문헌들에서 사용된 feature 들을 바탕으로 좀 더 체계적으로 정리해서 이후 연구들에 사용하기 위해서이다. 가지고 있는 문헌들 중에서 코드를 함께 제공하는 논문들만 일단 살펴보기로 했다. 문헌 양이 방대하기도 하고, 또 거의 대부분의 논문들이 소수의 논문들로부터 나온 feature 들을 인용하여 사용하는 것 같기 때문이다.

처음으로 보기 시작한 논문은 Segalin et al. (2017)이다. 내용도 괜찮고, 또 코드도 제공되기 때문이다. 이 논문은 크게 네 종류의 feature 들을 사용했다: Color, Composition, Textual property, Faces. 이 중에서 먼저 Color 관련 feature 들에 대한 내용만 살펴보기로 하자.

1. 먼저 HSV statistics 에 관한 5개의 feature 들이다.

1) saturation 평균
2) saturation 분산
3) value 분산
4) circular variance in HSV color space
5) use of light

기본적으로 HSV 각각, 사진속 픽셀들의 평균과 분산을 구하는 것이다. saturation 의 평균과 분산은 쉽게 알 수 있고, value 의 분산도 마찬가지이다. 5) use of light 도 이름은 거창하지만 사실 “the average pixel intensity of value channel”이라고 정의내려져 있기 때문에, value 의 평균이다. Hue channel 은 saturation 이나 value 와 다르게 circular 한 metric, 즉 원형으로 되어 있어서 가장 작은 값과 큰 값이 서로 연결되어 있는 형태이다. 따라서 단순히 평균과 분산을 구하는 것이 적절치 않기 때문에, 여기에서는 circular variance 를 구한 것으로 보인다(그래도 결국엔 분산이긴 하다).[1] 그런데 이 circular variance 의 구현 코드에 약간의 문제가 있는 것 같다. 정의된 함수로 들어가는 입력값이 Hue 가 되어야 하는데, HSV 형태의 이미지 배열에서 Hue 채널만 골라내는 부분이 잘못 구현된 듯 하다.

어쨌든 Hue 의 분산은 그렇다 치고, Hue 의 평균에 해당하는 뭔가 측정치가 있으면 구색이 더 잘 맞춰질 것 같긴 한데, 이 논문에서는 이걸 color name 이라는 feature 들로 대신한 것 같다(잠시 후에 설명).

2. 다음으로는 Emotion-based 라고 되어 있는 3개의 feature 들이다.

6) valence
7) arousal
8) dominance

사실 이 feature 들은 PAD 모델이라고도 불린다. Pleasure, Arousal, Dominance 의 약자다. 계산하기도 간편해서 이미 기존 내 연구들에서도 사용했던 feature 들이다. 출처는 워낙 유명한 논문인 Valdez & Mehrabian (1994).

3. 다음은 color diversity 이다.

9) color diversity

근데, 이름은 이렇게 되어 있지만 실제로는 colorfulness 라고 이름을 붙여야 맞다. 인용을 한 원래 문헌(Hasler & Süsstrunk, 2003)에서의 이름도 colorfulness 이고, color diversity 는 이미 이 이름으로 다른 feature 가 있기 때문이다(Kim et al., 2014). 계산법은 Hasler & Süsstrunk (2003)의 방법이 널리 이용되고 있다.

4. 마지막으로 Color name 이라는 feature 가 11개가 있다. 사실 이것은 앞서 언급한 Hue 의 평균에 해당되는 feature 의 성격을 갖는 것 같다(Hanbury (2003)을 공부하면서 더 괜찮은 feature 를 찾아낼 수 있을까?).

10) black, 11) blue, 12) brown, 13) grey, 14) green, 15) orange, 16) pink, 17) purple, 18) red, 19) white and 20) yellow

이건 기본적으로 Hue 를 기반으로 사진의 각 화소가 11개의 basic color term (Berlin, 1991) 중에 어디에 속하는지를 판정하여, 11개 color 의 비중을 계산하는 것이다. 개수가 몇 개냐의 차이는 있지만, 기존 다른 연구들에서도 비슷한 접근이 있어왔다. 그런데 이 논문의 해당 코드를 봐도 이해가 잘 안된다ㅠ 나중에 다시 시도해보겠지만, Hue 의 평균을 나타낼 수 있는 더 좋은 방법이 발견되면 바로 버리는 걸로… 왜냐하면 이 11개 feature 까지 쓰게 되면 개수가 너무 많아진다…ㅠ

어쨌든 이 논문의 color features 는 여기까지이다. 다음에는 composition features 를 정리할 계획이다.

[1] 검색을 하다보니 circular statistics 를 이미지 데이터에 적용한 좋은 문헌(Hanbury, 2003)을 찾았다.

<참고문헌>

  • Berlin, B. (1991) Basic Color Terms: Their Universality and Evolution. Berkeley, CA: University of California Press.

  • Hanbury, A. (2003). Circular statistics applied to colour images. Presented at the Computer Vision Winter Workshop, Valtics, Czech Republic.

  • Hasler, D., & Süsstrunk, S. (2003). Measuring colorfulness in natural images. In B. E. Rogowitz & T. N. Pappas (Eds.), Human vision and electronic imaging VIII (pp. 87-95). San Jose, CA: International Society for Optics and Photonics. https://doi.org/10.1117/12.477378

  • Kim, D., Son, S.-W., & Jeong, H. (2014). Large-scale quantitative analysis of painting arts. Scientific Report, 4, 7370. https://doi.org/10.1038/srep07370

  • Segalin, C., Perina, A., Cristani, M., & Vinciarelli, A. (2017). The pictures we like are our image: Continuous mapping of favorite pictures into self-assessed and attributed personality traits. IEEE Transactions on Affective Computing, 8(2), 268-285. https://doi.org/10.1109/taffc.2016.2516994

  • Valdez, P., & Mehrabian, A. (1994). Effects of color on emotions. Journal of Experimental Psychology: General, 123(4), 394-409. https://doi.org/10.1037/0096-3445.123.4.394