Kutatás · arXiv · cs.AI ·
Lekérdezés-útválasztással rugalmasítható az adatközpontok áramfogyasztása
Egy arXiv-en megjelent előzetes kutatás szerint az adatközpontok a lekérdezések nyelvi modellpéldányok közötti átirányításával akár a teljes fogyasztásuk 16%-áig tudnak rugalmasan alkalmazkodni a hálózati igényekhez.
A szerzők analitikus keretrendszert dolgoztak ki, amely a lekérdezések érkezési ütemét és a szekvenciahosszok eloszlását köti össze a tokenenkénti iterációs idővel, a kérések tartózkodási idejével, a kiszolgálókapacitással és a modellpéldányok teljesítményfogyasztásával. A módszer a kéréseket dinamikus lekérdezés-útválasztással osztja szét a különböző nyelvi modellpéldányok között úgy, hogy a kéréseket nem halasztja el.
A keretrendszert négy GPU-platformon, 1 és 70 milliárd paraméter közötti nyelvi modelleken validálták, az elérhető teljesítményrugalmasság becslésének 2,8%-os átlagos hibája pedig 2,8% volt. Egy valós forgalmi adatokra épülő szimulációban, amely 10 000 H100 GPU-val rendelkező adatközpontot modellezett, a rugalmasság elérte a teljes fogyasztás akár 16%-át.
A kívánt teljesítménycsökkentés 90%-a körülbelül 10 másodpercen belül valósult meg a szimulációban. A kutatók szerint a lekérdezés-útválasztás hatékony eszköz az adatközpontok teljesítményigényének rugalmasítására, a keretrendszer pedig adatközpont-szintű tervezésre és irányításra is alkalmazható.
Miért fontos neked?
Az interaktív szolgáltatásokat futtató adatközpontok üzemeltetőinek és az energiaszolgáltatókkal egyeztető csapatoknak számít, akik a hálózati terhelés-csökkentés lehetőségeit mérlegelik. Az eredmények szimulációból és négy GPU-platformról származnak, éles üzemi bevezetésről nincs szó, ezért csak tervezési kiindulópontként érdemes kezelni őket.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: Creating Power Flexibility in Datacenters via Query Routing
Címkék: adatközpont, energiafogyasztás, kutatás