rvachev.orgEN / RU / 🤖
← К эссе
· Эссе · 2 мин

🤖 NVIDIA показала GR00T 2 - новое поколение foundation-моделей для роботов

🤖 NVIDIA показала GR00T 2 - новое поколение foundation-моделей для роботов. Главная идея: робот учится, глядя на то, как работают люди.

🤖 NVIDIA показала GR00T 2 - новое поколение foundation-моделей для роботов. Главная идея: робот учится, глядя на то, как работают люди.

GR00T 2 предсказывает одновременно будущее видео и действия робота. То есть модель не просто выдает команды для моторов, а представляет, как должна измениться сцена после действия. Благодаря этому она понимает физику из обычного видео с людьми и потом переносит навыки на роботов, которые эту задачу ни разу не делали.

На чем учили:
- 402 730 часов видео от первого лица, где люди работают руками
- 10 184 часа демонстраций с ручным захватом UMI на 2 897 задачах
- 23 500 часов телеуправления роботами: от простых манипуляторов до гуманоида Unitree G1

100 тысяч часов этого человеческого видео NVIDIA выложила в открытый доступ на Hugging Face. И чем больше человеческого видео в обучении, тем лучше робот: при переходе от 0% к 100% этих данных успешность на 72 задачах выросла с 50% до 70%.

Что получилось:
- на 50 задачах, которые робот видел только в исполнении людей или других роботов, GR00T 2 справляется в 40% случаев без единой попытки. Пять демонстраций и 30 минут дообучения на одной RTX 5090 поднимают это до 95%
- робот с двумя пятипалыми руками вставляет фильтровальную бумагу в воронку и смачивает ее в 65% попыток, хотя видел это только в исполнении людей
- по демонстрациям с носимой перчаткой-экзоскелетом робот готовит йогурт с бананом и зажигает спичку, чтобы зажечь лампу (это на видео)
- облегченная версия GR00T 2 Turbo работает прямо на гуманоиде G1: 124 мс на одно предсказание, и робот насыпает и подает попкорн во всех 48 попытках

Я уже писал, что жду GPT-момента в робототехнике. Главным узким местом там всегда были данные: телеуправление дорогое и медленное, а видео с людьми - почти бесконечный ресурс. Если роботы действительно научатся учиться на нем, данных станет на порядки больше.

https://research.nvidia.com/labs/gear/gr00t-2/

#nvidia@rvnikita_blog #robotics@rvnikita_blog #ai@rvnikita_blog #gr00t@rvnikita_blog

Рассылка

Новые посты — на почту

Раз в неделю — дайджест того, что я пишу про AI, софт и продукты. Отписаться можно в любой момент.