[포인트데일리 성창훈 기자] 숭실대학교 글로벌미디어학부 이정진 교수 연구팀이 세계 최고 권위 멀티미디어 국제 학술대회 ACM International Conference on Multimedia 2025(ACM MM 2025)에 정규논문 2편을 동시에 게재하며 연구 경쟁력을 입증했다. 생성형 AI 기반 VR·스트리밍 기술을 활용한 버추얼 엔터테인먼트 분야에서 실질적 혁신을 제시했다는 평가가 나온다.

첫 번째 논문 ‘VRMusicStage: A System for Converting Fixed-Camera Music Stage Videos into Immersive VR Content’는 고정 카메라로 촬영된 공연 영상을 고해상도 VR 콘텐츠로 변환하는 기술을 다뤘다. 이정진 교수와 임승규·조연호 석사과정, 정석현 석박통합과정 학생, KBS 이윤재 박사가 참여했다.

연구팀은 생성형 AI 기반 text-to-image 확산 모델과 ControlNet 기반 멀티 컨디셔닝을 결합해 시간적·공간적으로 일관된 VR 영상을 생성하는 방식을 제안했다. 프레임별 처리 방식을 적용해 추가 학습 없이도 임의 길이의 영상을 8K급 VR 콘텐츠로 변환할 수 있는 점이 핵심이다. 비교 실험에서는 기존 기법 대비 시각적 품질과 몰입도가 모두 향상됐으며, VR 환경에서 시청자의 현존감이 크게 높아진 것으로 나타났다. 이 연구는 한국콘텐츠진흥원의 8K·16K 공연 서비스 기술 개발 과제의 지원을 받았다.

두 번째 논문 ‘Bring the VibeOn: Designing a Multimodal Interface for Shared Emotional Experiences in Live-streamed Concerts’는 온라인 콘서트에서 집단적 감정 교류를 재현하는 시스템 ‘VibeOn’을 제안했다.

이정진 교수와 김민주 KISTI 박사, 김경진 석박통합과정 학생, 이세빈·김다예 석사과정 학생이 참여했다. 연구팀은 기존 라이브 채팅이 갖는 정보 과부하 문제를 보완하기 위해 LLM 기반 상황 인식 채팅, 이모지 추천, 아바타 응원, 앰비언트 시각화, 콘서트 특화 레이아웃 전환 등을 통합한 인터페이스를 설계했다.

40명을 대상으로 한 사용자 연구에서는 사회적 연결감, 공동체 의식, 몰입감이 모두 통계적으로 유의미하게 증가했으며, 온라인 공연에서도 오프라인의 집단 감정 경험이 재현될 수 있음을 확인했다. 이 연구는 IITP 메타버스융합대학원사업과 지역지능화혁신인재양성사업의 지원으로 수행됐다.

임승규 석사과정 학생은 “연구실의 성과를 국제 학회에서 인정받아 기쁘다”고 소감을 밝혔고, 김경진 석박통합과정 학생은 “실용성과 연구적 가치가 동시에 확인돼 의미가 크다”고 말했다. 이정진 교수는 “생성형 AI 기반 VR·스트리밍 기술이 향후 몰입형 미디어 환경을 크게 확장할 것”이라며 “버추얼 엔터테인먼트 분야에서 숭실대 연구의 위상을 더욱 높이겠다”고 밝혔다.