rvachev.orgEN / RU / 🤖
← К эссе
· Эссе · 1 мин

Как сохранить зрительный контакт с помощью AI

Nvidia выпустила проект Maxine, который умеет поддерживать зрительный контакт.

Наверняка все вы видели видео блогеров, которые читают по суфлеру и глаза бегают туда-сюда, а так же обращали внимание на огромную разницу между тем, когда человек смотрит в экран и когда смотрит в камеру на созвоне.

Благодаря AI оба кейса теперь можно сконвертировать в прямой взгляд. Nvidia выпустила проект Maxine, который в том числе умеет Maintain Eye Contact.

Для того, чтобы это заработало понадобится сделать виртуальную камеру через OBS (чтобы брать сигнал с обычной камеры и обрабатывать его)

Шаги:

1) Скачиваем Maxine AR SDK по ссылке https://catalog.ngc.nvidia.com/orgs/nvidia/teams/maxine/resources/maxine_windows_ar_sdk_ga/files (понадобится регистрация + пишут о проблемах скачивания из РФ)
2) Скачиваем и устанавливаем OBS
3) Выбираем GazeRedirect App в качестве устройствя
4) Готово! Теперь в Zoom (и других приложения) просто выберите в настройках OBS устройство.

P.S. К сожалению пока работает только на Windows, так как требует поддерживаемые NVIDIA GPUs, в список которых Mac не входит. (уже второй раз за неделю чувствую себя ущербным работая на маке :( ))
Вроде как есть альтернативы, но возможно не такого качества и некоторые из них платные
1) https://www.4tiitoo.com/nuia-full-focus-for-eye-contact-in-video-calls
2) https://github.com/chihfanhsu/gaze_correction
3) https://casablanca.ai/