Что такое дипфейк и как он используется

Что это? Дипфейк – технология, основанная на работе нейросети, позволяющая замещать лица на фотографиях и видео синтезированными изображениями. Если раньше такие возможности были только у киностудий и игровой индустрии, то сейчас они доступным всем.

Где используется? Дипфейк воспринимается как развлечение. Согласитесь, забавно видеть лицо актера или известного политика в непривычной обстановке, ситуации. Но есть у технологии и более практичные сферы применения.

Что такое дипфейк простыми словами

Многие люди не знают, что такое дипфейк. Это слово было сформировано из двух выражений: deep learning («глубокое обучение» — термин, использующийся в сфере обучения искусственного интеллекта) и fake («подделка, фальшивка»). Таким образом, deepfake — это поддельные видео и фотографии, которые сделаны с использованием искусственного интеллекта. Проще говоря, лицо одного человека заменяется лицом другого.

Данная технология начала активно разрабатываться ещё в конце девяностых. В 1997 году компания Video Rewrite выпустила программу, с помощью которой пользователь мог создать видео, где движения лица синхронизировались с заранее сформированной аудиодорожкой. Таким образом, моделировались артикуляционная мимика говорящего человека.

Технология совершенствовалась долгие годы. На сегодняшний день человек может обрабатывать голос, объединять компьютерную графику с реальным видео и т.д. В наиболее продвинутых вариантах применяется искусственный интеллект.

Узнай, какие ИТ - профессии
входят в ТОП-30 с доходом
от 210 000 ₽/мес

Павел Симонов

Исполнительный директор Geekbrains

Команда GeekBrains совместно с международными специалистами по развитию карьеры подготовили материалы, которые помогут вам начать путь к профессии мечты.

Подборка содержит только самые востребованные и высокооплачиваемые специальности и направления в IT-сфере. 86% наших учеников с помощью данных материалов определились с карьерной целью на ближайшее будущее!

Скачивайте и используйте уже сегодня:

Павел Симонов

Исполнительный директор Geekbrains

Топ-30 самых востребованных и высокооплачиваемых профессий 2023

Поможет разобраться в актуальной ситуации на рынке труда

Подборка 50+ бесплатных нейросетей для упрощения работы и увеличения заработка

Только проверенные нейросети с доступом из России и свободным использованием

ТОП-100 площадок для поиска работы от GeekBrains

Список проверенных ресурсов реальных вакансий с доходом от 210 000 ₽

Получить подборку бесплатно

pdf 3,7mb

doc 1,7mb

Уже скачали 29964

Поначалу такие программы не были особо популярны. О них знал только небольшой круг специалистов. Однако в 2009 году вышел фильм под названием «Аватар». Огромное количество зрителей увидели технологию в действии. В 2014 году Одри Хепберн «почувствовала» в рекламной кампании шоколада. Её лицо «перенесли» на лицо актрисы. В фильме «Ирландец» 2019 года выпуска лица актёров сделали гораздо более молодыми при помощи ИИ.

С каждым годом искусственный интеллект становится всё более функциональным. Он может выполнять рутинную работу человека, которому нужно лишь подготавливать исходные файлы и управлять программой. Теперь на видеохостингах можно найти огромное количество дипфейков.

Чтобы создать упрощённую модель лица, подойдет обычная фотография. Это является самым популярным способом создания дипфейков. В этом случае следует сформировать точную 3D-модель исходного лица.

После этого нужно отследить всю его мимику и движения. Затем исходное лицо меняется на другое, однако мимика остается той же. Чтобы добиться хорошего результата, необходимо провести тонкую настройку. Кроме того, потребуются большие процессорные мощности. Если же попытаться упростить задачу, то итоговое видео будет менее качественным.

Изначально создателями дипфейков являлись обычные люди, которые хотели получить видео развлекательного характера. Через некоторое время такой контент начал обрастать своей аудиторией. Теперь люди готовы отдавать свои деньги за подобные ролики. За небольшое видео среднего уровня качества человек может получить как минимум 50 долларов. Дипфейки используются не только для развлечения, но и в качестве инструмента, позволяющего снизить затраты на привлечение реальных актёров.

С точки зрения законодательства такие ролики не нарушают никаких правовых норм, если они не создаются с целью введения зрителя в заблуждение. Если же дипфейк используется для обмана людей, то автора могут привлечь к ответственности. Чтобы избежать юридических проблем, необходимо указать в титрах, что ролик является фейковым.

Причём неважно, какое лицо вы будете использовать в своих видео. Это может быть очень известный человек, который выступает против такой деятельности. Учтите, что доказать причинение вреда дипфейком крайне трудно.

Лидеры рынка дипфейк-технологий

Синтетические медиа — это быстро развивающаяся отрасль, которая интересна многим современным компаниям. К примеру, Amazon постоянно совершенствует голос Алексы, а Disney старается улучшить технологию замены лица в фильмах. Производители оборудования также заинтересованы в подобных решениях. Яркий пример — Nvidia. Эта компания постоянно расширяет границы синтетических аватаров и услуг для кинопроизводства и телевидения.

Большая часть программного обеспечения, использующегося для создания дипфейков, имеет открытый исходный код. Благодаря этому синтетические медиа могут применяться даже небольшим компаниями. К таким проектам относятся Wombo, Аvatarify, FaceApp, Reface, MyHeritage и т.п.

Усложненные версии этих технологий используются в локальных и облачных решениях. Например, Synthesia — крупнейший поставщик синтетических аватаров, которые применяются для обучения, обслуживания клиентов, создания видео и некоторых других задач. Пользователь может работать с готовыми аватарами либо создать свой собственный вариант.

Читайте также!

Куда инвестировать деньги в России в 2023 году

Подробнее

Технология реалистичной генерации голоса используется в самых разных сферах. Например, при работе с клиентами, автоматическом переводе и т.д. Одними из самых успешных компаний в этой сфере являются Respeecher и Resemble AI. В первом случае пользователь может заменить собственный голос голосом другого человека. При этом у него есть возможность настроить возраст и язык. Resemble AI также позволяет клиентам генерировать дипфейки своего голоса.

Variational Autoencoder (VAE) — это генеративная модель, которая нередко используется в данной сфере. Она позволяет создавать новые человеческие лица, генерировать музыку и многое другое. Кроме того, с помощью VAE можно быстро переносить особенности мимики и артикуляции человека на компьютерную 3D-модель. Технология VAE появилась много лет назад, однако сформированные с её помощью ролики легко отличить от настоящих.

В 2017 году были разработаны генеративные состязательные сети (GAN). В этой технологии объединены две нейросети, одна из которых (её называют дискриминатором) оценивает реалистичность модели, сформированной другой нейронной сетью. В результате пользователь получает гораздо более правдоподобный дипфейк.

Однако стоит отметить, что GAN является гораздо более сложной технологией, чем может показаться на первый взгляд. Помимо двух основных, в ней применяются и другие нейросети и элементы. На выходе получается очень реалистичная модель. На сайте This Person Does Not Exist опубликованы примеры работ, созданных с помощью GAN. Там вы можете увидеть лица людей, которые никогда не существовали в реальности.

Данная технология также применялась для создания цифрового двойника Сальвадора Дали. Эта модель используется в музее Дали. Она рассказывает посетителям о биографии и достижениях художника.

6 дипфейк-инструментов, доступных каждому

Поняв, что такое дипфейк, нужно разобраться с инструментами, которые позволяют создавать качественные подделки. Практически все нижеперечисленные программы и приложения не требуют от компьютера больших мощностей.

Doublicat

Платформа: Android / iOS

С помощью этого приложения вы можете создать дипфейк развлекательного характера. Для этого вам нужно лишь сделать селфи и поместить фото на мем или GIF в своей библиотеке. Через считанные секунды ваше лицо будет наложено на лицо Брэда Питта, Леонардо Ди Каприо или Тейлор Свифт.

Получившаяся модель хорошо копирует мимику оригинала. Дипфейк можно отправить друзьям или выложить в социальных сетях.

Дарим скидку от 60%
на курсы от GeekBrains до 22 сентября

Уже через 9 месяцев сможете устроиться на работу с доходом от 150 000 рублей

Забронировать скидку

FaceApp

Платформа: Android / iOS

Это российское приложение создано компанией Wireless Lab. Программа работает на основе нейронных сетей, с помощью которых выполняется преобразование лиц на фотографиях. Результат получается очень реалистичным.

Загрузив в приложение своё лицо, вы сможете поэкспериментировать с его мимикой, возрастом, половой принадлежностью (из-за этой возможности в 2018 году FaceApp привлек много внимания со стороны сексуальных меньшинств) и т.д. Кроме того, программа позволяет накладывать татуировки, фон, виньетки и размытие объектива.

Конфиденциальность пользовательских данных в FaceApp ставится под вопрос. Эта тема не раз обсуждалась в социальных сетях и прессе.

Deepfakes web β

Платформа: Сайт

Этот сервис позволяет конструировать дипфейк-видео в режиме онлайн. При этом процесс обучения здесь дольше, чем в других вариантах.

Сначала пользователю нужно пройти регистрацию. После этого необходимо загрузить видео и приступить к работе. Моделирование осуществляется в облаке. Чтобы изучить видео / изображения и смену лиц, придётся потратить около 4 часов. С помощью обученной модели можно изменить лицо за 30-40 минут.

Полученный результат может иметь разный уровень качества. Все зависит от значений «потерь». Чем ниже этот показатель (при обучении из загруженных видео), тем реалистичнее будет модель. Просматривать итоговый дипфейк и учебные данные может только владелец аккаунта.

DeepFaceLab

Платформа: Windows

DeepFaceLab считается одной из лучших программ для создания дипфейков. В ней применяются современные нейросети. Данное ПО можно найти на GitHub.

Разработчики утверждают, что более 95 % высококачественных дипфейков создаются именно в этой программе. Стоит отметить, что DeepFaceLab используется несколькими крупными каналами на YouTube. Например, Ctrl Shift Face, iFake и Shamook.

Только до 19.09

Скачай подборку материалов, чтобы гарантированно найти работу в IT за 14 дней

Список документов:

ТОП-100 площадок для поиска работы от GeekBrains

20 профессий 2023 года, с доходом от 150 000 рублей

Чек-лист «Как успешно пройти собеседование»

Чтобы получить файл, укажите e-mail:

Введите e-mail, чтобы получить доступ к документам

Подтвердите, что вы не робот,
указав номер телефона:

Введите телефон, чтобы получить доступ к документам

Скачать подборку бесплатно pdf 2,5mb

Уже скачали 52300

Я подтверждаю согласие на обработку персональных данных.

Чтобы работать с программой, вам потребуются технические знания. DeepFaceLab позволяет использовать большое количество командных файлов. В папке «workspace» размещены все обучающие модели, исходные видео и выходные данные. Программа работает с определенными именами и местоположениями файлов. Благодаря этому пакетный файл может функционировать.

FaceSwap

Платформа: Windows | MacOS | Linux

Эта программа напоминает DeepFaceLab. Однако в FaceSwap больше функций. Кроме того, это ПО предоставляет лучшую документацию и онлайн-поддержку. Ещё одним немаловажным преимуществом FaceSwap является кроссплатформенность (инструмент можно использовать не только в Windows, но и на Mac и Linux).

Читайте также!

Топ-10 сериалов про хакеров

Подробнее

Программа имеет открытый исходный код. Чтобы работать с дипфейками, вам потребуется производительная видеокарта. В противном случае процесс замены лица будет выполняться очень медленно.

Faceswap работает на Python, Keras и Tensorflow. В интернете можно найти большое количество учебников, которые помогают освоить программу.

Zao

Платформа: Android | iOS

Многофункциональное приложение, предоставляющее множество видеоклипов и нарядов. С помощью Zao вы сможете сгенерировать голоса известных людей, наложить на их лица свою фотографию. Вам будет доступно огромное количество причёсок, одежды и макияжа.

Приложение получило большую популярность в 2019 году. Пользователи смогли вставлять свои лица в сцены со знаменитыми актёрами. Буквально за один месяц Zao заняло лидирующую строчку в списке самых скачиваемых приложений в Китае. Однако пользователи много критиковали политику конфиденциальности программы.

Популярные статьи

Высокооплачиваемые профессии сегодня и в ближайшем будущем

Дополнительный заработок в Интернете: варианты для новичков и специалистов

Востребованные удаленные профессии: зарабатывайте, не выходя из дома

Разработчик игр: чем занимается, сколько зарабатывает и где учится

Как выбрать профессию по душе: детальное руководство + ценные советы

Процесс обработки занимает считанные секунды. Но есть один важный нюанс: алгоритм обучен на китайских лицах, поэтому результат может быть менее реалистичен, чем хотелось бы.

Итак, что же такое дипфейк? Это поддельное видео или фотография, которые сформированы при помощи ИИ. Отметим, что для создания качественного дипфейка во всех вышеперечисленных инструментах вам не нужно делать сотни фотографий, как это было раньше. Это ещё раз доказывает, что данная сфера активно развивается, а технологии генерации лиц совершенствуются. Загрузив всего одну картинку, вы получите реалистичный видеоролик.

Автор статьи:

Редакция сайта GeekBrains Шеф-редактор раздела Программирование