Lu & Shen (2023)의 논문에서 사용된 video features 이다. 중국의 TikTok 인 Douyin 에서 팩트체크 동영상이 갖는 시각적 특성을 살펴본 연구이다. 연구 샘플에 포함된 동영상으로부터 매 6 프레임마다 하나씩을 샘플로 선정하여 분석에 사용했다. 사용된 feature 들은 아래와 같다.

1. Brightness

제목 그대로 밝기다. 대부분 화소의 V (value) 값을 평균내서 사용한다. 많은 연구들이 관련 분야의 효시 중 하나로 인용하고 있는 Datta et al. (2006)에서는 HSV 컬러 스페이스를 사용하였고, 또다른 초기 연구인 San Pedro & Siersdorfer (2009)에서는 YUV 컬러 스페이스를 사용했다. 본 논문에서는 CIELAB 컬러 스페이스를 사용했다. 사진의 모든 화소의 V 값을 평균내고, 그것을 다시 샘플 프레임들의 평균을 내서 비디오의 feature 로 사용했다.

2. Entropy

entropy 는 heterogeneity of pixels 의 측정치로 사용되었다. Grayscale 화소값([0, 255])의 히스토그램으로부터 Shannon entropy 를 계산한다.

3. Rate of warm color dominance
4. Rate of cool color dominance

사진의 각 화소마다 RGB 값을 바탕으로 17개의 기본 색상 중 하나에 할당한다. 이를 위해서는 CSS2.1 base colors를 사용했다고 한다. 그리고 각 프레임마다 어떤 색상이 가장 dominant 한지를 판정하고, warm colors (red, yellow, orange, maroon, olive) 와 cool colors (aqua, blue, green, navy, teal) 중의 dominance 도 판정한다. 비디오의 샘플 프레임들 중에서 warm colors 가 dominant 한 비율과 cool colors 가 dominant 한 비율을 구해 feature 로 사용한다.

5. Presence of faces

Face Recognition 라이브러리를 사용하여 샘플 프레임마다 사람의 얼굴이 등장하는지 여부를 판정한다. 그리고 모든 샘플 프레임 중에서 사람 얼굴이 등장하는 프레임의 비율을 feature 로 사용한다.

앞의 몇몇 논문들보다는 그래도 feature 제시가 분명한 편이다. 논문에서는 visual feature 만 사용한 것이 아니라 tempo 나 loudness 같은 오디오 feature 들도 사용하였고, 내용 분석을 통해 persuasive strategy 도 파악해서 변수로 사용했다. 그리고 이런 변수들이 팩트 체크 비디오들의 관여도에 어떤 영향을 미쳤는지를 multilevel modeling (또!)을 통해 살펴보았다. 전반적으로 나쁘지 않은 논문인 듯.

<참고문헌>

  • Datta, R., Joshi, D., Li, J., & Wang, J. Z. (2006). Studying aesthetics in photographic images using a computational approach. In A. Leonardis, H. Bischof, & A. Pinz (Eds.), Computer vision: ECCV 2006 (pp. 288-301). Berlin, Heidelberg: Springer. https://doi.org/http://doi.org/10.1007/11744078_23

  • Lu, Y., & Shen, C. C. (2023). Unpacking multimodal fact-checking: Features and engagement of fact-checking videos on chinese TikTok (Douyin). Social Media + Society, 9(1), 1-16. https://doi.org/10.1177/20563051221150406

  • San Pedro, J., & Siersdorfer, S. (2009). Ranking and classifying attractiveness of photos in folksonomies. Presented at the 18th International Conference on World Wide Web (WWW ‘09), Madrid, Spain. https://doi.org/10.1145/1526709.1526813