rvachev.orgEN / RU / 🤖
← К эссе
· Эссе · 2 мин

Научил SO-101 делать мой трюк с шариком для настольного тенниса

Научил SO-101 делать мой трюк с шариком для настольного тенниса. Пока в симуляции.

🏓 Научил SO-101 делать мой трюк с шариком для настольного тенниса. Пока в симуляции.

В прошлом посте я показывал, как SO-101 набивает шарик в симуляции. Там работал обычный алгоритм: формулы и контроллер, написанные руками. Дальше захотелось убрать мой код совсем и проверить чистый RL: роняем мяч, робот делает случайные движения, уронил - проиграл, набил - получил награду.

А в реальной жизни у меня есть любимый трюк с шариком для настольного тенниса, который я всем показываю: набиваю, набиваю, а потом ракетка делает вертикальную петлю вокруг шарика - поднимается выше него, опускается с другой стороны и ловит снизу. Вот и подумал: а смогу ли я научить этому SO-101.

Набивать мяч RL научился сам, за несколько десятков миллионов шагов в симуляции. Но сначала он нашел лазейку: держал мяч почти на ракетке, а счетчик отскоков рос. Пришлось требовать минимум 18 см вверх. С трюком было еще смешнее: я дал награду за угол вокруг мяча, счетчик показывал 308 градусов, а на видео ракетка просто махала из стороны в сторону. Потом трюк начал засчитываться, но оказалось, что это "ловля шлепком" - мяч улетал на полтора метра в сторону.

Мой главный вывод: в RL почти все время уходит на reward model, а не на сеть. Любую награду, которую я писал, RL выполнял так, как ему удобнее, а не так, как я имел в виду. А настоящая петля настолько редкое событие, что случайными движениями робот на нее просто не натыкается, награда почти никогда не срабатывает, и учиться не на чем. Сработала комбинация: сначала перебор движений доказал, что петля физически возможна с этими сервоприводами, потом робот имитировал найденные движения, и только потом RL их доводил.

Сложнее всего оказалось склеить все вместе: обычный отскок - петля - обычный - петля. На чистых политиках максимум 3 петли подряд. С look-ahead, когда перед каждым полетом робот проигрывает несколько вариантов в копии симуляции и выбирает рабочий, получилось 37 подряд и 86% удачных петель. Честно оговорюсь: это идеальная модель мира, у реального робота ее нет.

Но самое интересное для меня в этом эксперименте даже не RL. Большую часть итераций делал AI-агент, пока я спал: смотрел видео и метрики, находил очередную лазейку в награде, придумывал гипотезу, менял правила и запускал новое обучение. Он же нашел, что часть результатов считалась с багом, и сам предложил look-ahead. Я задавал цель и иногда поправлял направление. По сути это self-improving подход: система сама ищет новые идеи, что проверить дальше, и проверяет их.

Именно про это я хочу поговорить на следующей неделе, 10 ноября: как я научил своих AI-агентов улучшать себя каждый день.

https://luma.com/sslznifi

На видео все этапы по порядку.

#robotics@rvnikita_blog #so101@rvnikita_blog #rl@rvnikita_blog #ai@rvnikita_blog #agents@rvnikita_blog

Рассылка

Новые посты — на почту

Раз в неделю — дайджест того, что я пишу про AI, софт и продукты. Отписаться можно в любой момент.