Modellek · Hugging Face ·
Az NVIDIA négy új nyílt modellt adott ki a Cosmos 3 családhoz
Az NVIDIA négy nyílt súlyú modellváltozattal bővítette a Cosmos 3 családot, amelyek vezetési jelenetek többnézetes generálására és interaktív robotikai szimulációra használhatók.
Az NVIDIA négy új, nyílt súlyú modellváltozattal bővítette a Cosmos 3 modellcsaládot, amelyek interaktív világszimulációra és többszenzoros, többnézetes vezetési jelenetek előállítására valók. A modellek a Cosmos 3 Nano változatán alapulnak, 16 milliárd tanítható paraméterük van, és az OpenMDW1.1 licenc alapján kereskedelmi és nem kereskedelmi célra is használhatók.
A Cosmos3-Nano-Transfer-Auto akár 11 kameranézetet is képes szinkronizáltan generálni, a halszemoptikás (fisheye) nézetekkel együtt, és RGB- és LiDAR-adatokat is előállít. A Cosmos3-Nano-Sim-Auto a Transfer-Auto kauzálisan desztillált, folyamatos generálásra szánt változata, amely néhány zajcsökkentő lépéssel állítja elő a kamera- és LiDAR-blokkokat.
A Cosmos3-Nano-Sim-Transfer a szimulátor vezérlőjeleiből és egy szöveges promptból fotorealisztikus videót készít, a Cosmos3-Nano-Sim-Bimanual pedig a robot vagy a kamera mozgásából jósolja meg a következő megfigyeléseket. A futtatáshoz Linux, NVIDIA GPU, Docker szükséges; a vLLM-Omni beállítást egy GB200 gépen tesztelték, ez azonban nem minimális memóriaigény. A modellsúlyok, a technikai jelentés és a demók elérhetők.
Miért fontos neked?
Önvezetési és robotikai kutatóknak, akik szintetikus adatot vagy szimulált környezetet keresnek a tanításhoz és teszteléshez, ezek a modellek új lehetőséget jelenthetnek. A nyílt súlyok és a tanítási útmutató az adaptációt segíti, a modellek határait és a szimulációs pontosságot azonban a felhasználóknak kell mérniük.
Az eredeti megnyitása (Hugging Face)
Eredeti cím: New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
Címkék: modell, önvezetés, robotika