재미있는 자료가 있어 대충 번역 해봤습니다.

인물의 얼굴이 촬영된 영상이 있다면 그 영상에서 표정만 원하는대로 바꾸는 기술인데요.
이 기술이 놀라운 것은 대역의 표정이 거의 실시간으로 반영된다는 것입니다.

대중연설을 해야하는데 표정연기가 약한 사람이 있다면... 뒤에서 다른 사람이 얼굴 대역을 하는 시대가 곧 다가올지도 모르겠네요 ㅎㅎ


http://www.graphics.stanford.edu/~niessner/thies2016face.html

Face2Face : 영상에서 실시간으로 얼굴을 캡쳐하여 대역으로 교체하기

우리는 유튜브와 같은 특정 영상에서 실시간으로 얼굴 대역처리를 하는 새로운 접근방식을 제시합니다.
웹캠으로 대역을 실시간으로 캡쳐하여 원본 영상으로 사용합니다.

우리의 목표는 소스가 되는 재연 배우의 얼굴 표정 움직임을 사용하여 영상을 변형함으로서 실감나게 타겟 영상의 얼굴에 반영하는 것입니다.

먼저 얼굴의 모습이 억지스럽게 변형되는 문제를 해결하기 위해서 비경직성 모델 기반의 자료를 활용합니다.
영상이 재생되면 소스와 타겟 영상이 양쪽의 광도의 변화 측정을 통해 표정 변화를 추적합니다.
그리고 빠르고 효율적으로 영상을 변형하여 전달함으로서 소스와 타겟 사이의 차이를 최소화합니다.

입안의 내부는 타겟 영상 내에서 찾은 장면을 입모양에 맞게 변형하여 채워넣는 방법을 사용하여 최상의 품질을 구현했습니다.
마지막으로 우리는 타겟 영상의 품질이 설득력있어 보이게 하기 위해 영상의 공간에 맞는 조명효과를 더해 렌더링을 다시 합니다.

저희가 만든 시스템을 통해 유튜브의 영상이 실시간으로 대역처리되는 것을 보여드리겠습니다.