Kutatás · Apple Machine Learning ·
Az Apple online megerősítéses tanulással tanított ügynököt iOS-appok kezelésére
Az Apple kutatói olyan UI-navigációs ügynököt fejlesztettek, amely élő iOS-alkalmazásokban, online megerősítéses tanulással tanul, és a kiértékelésekben felülmúlta a felügyelt finomhangolással készült változatot.
A kutatásban bemutatott keretrendszer az ügynököt két részre bontja: egy tervező ügynökre és UI-grounding modellre, amely a terv lépéseit a képernyőn látható elemekhez köti. A tanítás valós iOS-alkalmazásokon történik, a jutalmat pedig egy LLM bíróként működő értékelő adja, amely a köztes lépések haladását és a feladat végeredményét is pontozza. A tanuláshoz PPO algoritmust használnak, a GiGPPO nevű módszer pedig a vizuálisan hasonló állapotok jutalmait is felhasználja a kritikus stabilizálására.
A lépésenkénti visszajelzés a végső siker mellett sűrűbb tanulási jelet ad, ami a szerzők szerint gyorsítja a konvergenciát. Az infrastruktúra több száz párhuzamos virtuális iOS-eszközt futtat egyszerre, így a tanítás nagy léptékben is kivitelezhető. A szerzők a UINavBench, az iOSWorld és az AndroidWorld benchmarkokon mérték az ügynököket.
A 8 milliárd paraméteres, megerősítéses tanulással tanított ügynökök a felügyelt finomhangolású kiindulóponthoz képest közel hétszeres javulást értek el az Android-környezetekbe való általánosításban. Valós iOS-alkalmazásokon a cikk szerint felülmúlták a Gemini-3.5-Flash modellt, és a Gemini-3.1-Pro-val azonos szinten teljesítettek.
Miért fontos neked?
Elsősorban iOS-automatizálással foglalkozó fejlesztőknek és kutatóknak lehet érdekes, akik kisebb modellel szeretnének UI-feladatokat megoldani. A kutatási eredmények nyilvános elérhetőségéről a forrás nem ír, ezért egyelőre csak a módszer leírására lehet támaszkodni.
Az eredeti megnyitása (Apple Machine Learning)
Eredeti cím: Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps
Címkék: ui-navigáció, megerősítéses tanulás, ios