🕺 MotionGPT: Text-to-motion and Motion-to-text
Ученые представили MotionGPT - уникальную модель для совместной обработки языка и человеческого движения. Их методы, основанные на дискретной векторной квантовании (подробнее про то, что это тут), превращают 3D движения в "токены движения". С помощью моделирования движений и текста в единый способ, они рассматривают человеческое движение как конкретный язык. Это позволяет применить методы обучения на основе prompting для улучшения результатов в задачах, связанных с движением.
Практическое применение MotionGPT может быть разнообразным. Оно может быть использовано в робототехнике для создания более естественного и плавного движения роботов, а также в развлекательной индустрии, например, для анимации персонажей в играх или фильмах. Более того, с его помощью можно создавать виртуальных тренеров или даже помощников в реабилитации после травм.