ControlNET - следующий шаг в AI позволяющий добавлять дополнительное управление в диффузионных моделях (например Stable Diffusion).
В качестве примера ControlNET позволяет добавить текстовы промпт к Stable Diffusion и делать связку img+text to img.
Paper: https://arxiv.org/abs/2302.05543
Code: https://github.com/lllyasviel/ControlNet
Песочница: https://huggingface.co/spaces/hysts/ControlNet
P.S. Кстати наверняка видели видео, где покадрово меняется сцена, они сделаны с помощью этой технологии.
