Emotion Tracer

l3이모션 트레이서(Emotion Tracer)는 멀티 모달 인터페이스를 기반으로 사용자의 감성을 측정하는 감성 분석 소프트웨어 그룹입니다. 멀티 모달적 (Multi-modal) 속성을 가진 감성을 분석하기 위해서는 다수의 데이터 소스로부터 측정된 데이터를 활용해야 합니다. 이모션 트레이서는 총 6개의 데이터 소스들(Camera, Mouse, Keyboard, PC Log, Biometric Sensors, Web)로부터의 데이터를 획득할 수 있도록 구현되어 있고, 각각의 환경에서 취득한 데이터를 분석한 뒤 자동적으로 감정 평가결과를 가시화해 줍니다.


1) Emotion Tracer for [PC Client]

l3

ET-PC Client는 PC 클라이언트 환경에서 웹캠, 키보드, 마우스, 마이크 인터페이스로 부터 들어오는 50여가지의 입력 정보(얼굴 표정 특징점, 마우스 좌표, 키보드 입력값 등.)를 실시간으로 받아들여 이를 동기화시켜 저장합니다. 이렇게 저장된 행동 데이터들은 분석 서버로 보내져서 고차원 행동 분석에 활용됩니다. 스웨덴 카롤린스카 연구소의 Karolinska Directed Emotional Faces 데이터셋을 기준으로 6개의 감정을 분류하는데 약 78.3%의 정확도를 실험실 환경에서 보였습니다. 본 기술을 활용하여 대화 중 감정을 인식하는 인디 게임인 ‘연애센서’를 구글 플레이에 런칭하였습니다. 2017년 현재 딥러닝 알고리즘을 도입하여 정확도를 높이는 작업을 진행 중에 있습니다. 본 기술은 엔씨소프트의 후원 하에 개발되었습니다.

ET for PC Client 동영상 (2015년 버전)
게임: 연애센서 다운로드

Papers:
Y. B. Kim et al., “Efficiently Detecting Outlying Behavior in Video-Game Players,” PeerJ, 2015
Y. B. Kim et al., “System for Evaluating Usability and User Experience by Analyzing Repeated Patterns”, LNCS, Vol. 8012, No. 1, pp. 322-329, 2013.
S. J. Kang et al., “Analyzing Repetitive Action in Game-Based on Sequence pattern matching”, Journal of Real-Time Image Processing, Vol. 23, 2014.
Y. B. Kim et al., “Flow Detection System based on Facial Expression Recognition Technique”, International Workshop on Computer Image and its Applications, 2014.
정장영 외 3명, “게임 플레이 분석을 위한 얼굴 표정량 변화 탐지 시스템”, HCI Korea, 2016
정장영 외 3명, “게임성 평가에 필요한 자동화 된 개별 사용자 특이 행동 구간 탐지 시스템”, 한국게임학회 춘계학술대회, 2015
안진형 외 5명, HCI Korea 2016 앱장터 경진대회 장려상


2) Emotion Tracer for [PC Log]

l3

ET-Log는 PC환경에서 log 데이터를 분석하여 사용자의 행동을 분석해 줍니다. 본 소프트웨어는 PC에 저장된 로그를 분석하여 사용자가 어떠한 형태로 PC를 활용하는지 분석해 줍니다. 분석된 수치들은 다양한 그래프로 가시화되어 표현되며 이를 통해 PC사용자의 사용 패턴을 파악할 수 있도록 해줍니다. ET-Log기술은 한국연구재단 X- 프로젝트 성과의 일부로 PC 게임 플레이어의 사용 패턴을 분석해 주는 G-Doctor 프로젝트에 적용되어 활용되고 있습니다. 이러한 로그 분석 소프트웨어는 게임 Fun QA, 사용 자 데이터 마이닝 등에 활용될 수 있습니다.

G-Doctor 소개 영상
G-Doctor 다운로드


3) Emotion Tracer for [Web]

l3

ET-Web은 웹 상에서의 문서들을 파싱하여 호감도를 분석해 주는 Sentiment Analysis 툴입니다. 웹 크롤러는 자바와 파이썬으로 구현되었고, 수집된 도규먼트의 내용을 정형화하여 형태소 분석을 수행합니다. 형태소 분석 시에는 감성어 태깅 게임 플레이를 통해 구축된 감성어 사전과 비교하여 감성의 극성(긍정/부정)을 평가한 뒤, 해당 도규먼트의 감성 평가를 수행합니다. 현재 장시간에 걸쳐 주요 메이저 커뮤니티들의 댓글을 분석하여 커뮤니티간의 상호 공격성 수준을 파악해 보고 있습니다. 또한 게임 내 가상 화폐의 시세를 분석하여 게임 내 업데이트와의 상관 관계를 파악하는데 사용되고 있습니다.

커뮤니티간 공격성 분석 홈페이지
감성어 태깅용 게임: 은하공주 합격시키기 영상
감성어 태깅용 게임 (은하공주 합격시키기) 다운로드

paper:
Y. B. Kim et al., “Virtual World Currency Value Fluctuation Prediction System Based on User Sentiment Analysis,” PLOS ONE, 2015
이상혁 외 4명, “게임 커뮤니티 동향 분석을 위한 감정 분석 시스템”, HCI Korea, 2016


4) Emotion Tracer for [Biometric Sensors]

l3

최근에 들어 다수의 소형 센서가 대중화됨에 따라, 생체 신호를 추출하기 용이하게 되었습니다. ET-Biometric Sensors는 일반적인 소형 센서들로부터 생체 신호를 전송받아 이를 PC에 로그로 기록할 수 있습니다. 이 기술은 이모션 마우스 (Emotion Mouse)라는 독자적인 하드웨어를 개발하는데 적용되었습니다. Emotion Mouse는 사용자의 생체 데이터를 비침투적으로 추출하기 위한 마우스로, GSR (Galvanic Skin Response) 센서, FSR (Force-Sensitive Resistor) 센서, 적외선 온도 센서가 내장되어 있습니다. 사용자가 마우스를 사용하면 마우스 버튼 위에 놓여진 손가락 움직임의 저항값, 마우스 버튼 입력 강도, 사용자의 체온을 비침투적으로 측정하여 그 결과를 실시간 가시화해 줍니다.

이모션 마우스 소개 동영상
연동 게임: 이모션센스 다운로드

Paper:
이충현 외 4명, “사용자의 생체 신호를 이용한 감성 컴퓨팅 게임 개발”, 한국게임학회 논문지, 16권, 6호 (2016)
강신진 외 8명, “감정 인식 인터랙티브 스토리텔링 게임 개발 방법론”, 한국게임학회 추계학술대회 (2016) (우수논문상)