Немецкие ученые вместе с коллегами из Франции, Великобритании и США создали нейросеть, которая умеет копировать мимику людей с видеозаписей и переносить ее с одной записи на другую. Об этом они сообщили в аннотации к работе, которую представят на конференции Siggraph 2018.
Нейросеть научили дублировать наклон головы, положение рта, направление взгляда. Алгоритм принимает в качестве исходных данных два видео, после чего нейросеть создает фотореалистичные рендеры первого лица и передает их второму лицу, в результате создается реалистичный ролик. После ряда опытов стало понятно, что зрители считают искусственные видео абсолютно реалистичными.
Ранее ученые из Вашингтонского университета научили нейросеть переносить выражение ли на модель лица. Другой коллектив исследователей заставил нейросеть перенести мимику на лицо реального человека, но при этом алгоритм игнорирует наклон головы. Технологию назвали face2face и протестировали на Путине и Трампе.
