Kutatás · arXiv · cs.AI ·
A RoboTryOn emberi videókból szintetizál robotdemonstrációkat
A RoboTryOn nevű módszer emberi videókat alakít át célrobotot ábrázoló videókká, így a robotvezérlő szabályzatok tanításához kevesebb teleoperált demonstrációra van szükség.
A módszer a virtuális felpróbálás (virtual try-on) logikáját követi: a videón megmarad a mozgás, a feladat, a tárgyak és a háttér, az embert pedig a referenciaképen látható robot váltja le. A kulcskockákat autoregresszív módon fordítják le, majd ezek vezérlik a videószintézist, amelyben a mozgást az emberi kéz vázmodellje határozza meg.
A szintetizált videókból inverz dinamikai modell (IDM) következtet a cselekvési címkékre, a modell mélységi jellemzőket is felhasznál. A kísérletekben több humanoid robottesten a szintetikus adatokon tanított szabályzatok átlagos sikerességi aránya új feladatokon 2%-ról 60%-ra nőtt, köztük nehéz, kétkezes manipulációs feladatokon, valódi robotos demonstráció nélkül.
A szerzők szerint a szintetikus adatokkal tanított szabályzatok teljesítménye megegyezik a kizárólag teleoperált demonstrációkon tanítottakéval, miközben a adatgyűjtés költsége körülbelül egyharmada. A forrás nem tér ki arra, hogy a módszer mikor vagy milyen formában válik elérhetővé.
Miért fontos neked?
Robotikai kutatóknak és fejlesztőknek, akiknek új feladatokhoz kell szabályzatot tanítaniuk, a módszer teleoperált adatgyűjtés költségét csökkentheti. A forrásból nem derül ki, hogy a kód vagy a modell elérhető-e, ezért a gyakorlati alkalmazhatóság egyelőre bizonytalan.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
Címkék: robotika, humanoid robot, szintetikus adat