🦾 Проверил, может ли Claude Fable 5.2 сам управлять роботом.
Возвращаясь к посту про то, что скоро модели просто будут сами управлять роботами: решил потестировать Fable 5.2 на виртуальном SO-101 в новом MuJoCo 4.
Сетап такой: модель видит только картинки с камер и показания своих моторов, а двигает рукой командами вроде "переведи захват в точку X, Y, Z" и "сожми захват". Где лежат предметы, ей не говорят.
На простых задачах вроде "найди кубик и положи в корзину" справляется: 5 из 5 разных раскладок, около 17 команд и пара минут на каждую. Масштаб она сама посчитала по клеткам на полу.
С чем-то посложнее вроде завязать шнурок двумя руками - не особо. Поднять конец шнурка и сложить концы крестиком смогла, а вот узел пока не завязала.
Но жжет токены конечно жесть: один крестик из шнурка - 7.5 минут, 28 команд и 2.6 млн токенов, около $1.85 по ценам API. Каждая картинка с камер остается в контексте, и с каждым шагом их становится больше.
Продолжаем наблюдать.
#robotics@rvnikita_blog #so101@rvnikita_blog #claude@rvnikita_blog #anthropic@rvnikita_blog #mujoco@rvnikita_blog