Kutatás · The Decoder ·
A GPT-6 Astra a súlyokon keresztül módosít más AI-modelleket
Az MIT kutatói szerint az OpenAI GPT-6 Astra modellje képes más AI-modellek belső beállításait, a súlyokat elemezni és célzottan módosítani újratanítás nélkül, ami a finomhangolás és a vezérlés módját változtathatja meg.
Az MIT kutatói blogbejegyzésben számoltak be arról, hogy a GPT-6 Astra a súlyok alapján felismeri, mit tanult meg egy hálózat: négy számítógépes játék közül pontosan azonosította azt, amelyet a hálózat játszani volt hivatott. A kisméretű nyelvi modellek tanítási nyelvét is helyesen párosította, és ehhez sem tanítóadatra, sem a modellek futtatására nem volt szükség.
A kutatók Weight-Space Programming néven írták le a módszert, amelyben a nyelvi modell szerelőként állítja a súlyok egyes elemeit, drága újratanítás helyett. Astra a játékszabályok és a forráskód alapján, tanítás nélkül írt súlyokat három egyszerű játékhoz; a Breakout-ban átlagosan 517 pontot ért el, szemben a 25 ponttal, amelyet a 100 millió körön át tanított referenciamodell ért el.
A legpraktikusabb kísérletben Astra a Qwen3.5-0.8B nyelvi modell matematikai képességeit javította: mindössze 0,016 százalékát módosította a súlyoknak, és a MATH-500 teszten a pontosság 7,9-ről 48,1 százalékra nőtt, az utasításkövetés pedig 21-ről 62 százalékra. A gondolkodási hurkok nem tűntek el teljesen, a válaszok harmada még mindig eléri a maximális hosszt, miközben korábban ez az arány 93 százalék volt. A kísérleti naplók GitHubon, a módosított Qwen-modell pedig Hugging Face-en érhető el.
Miért fontos neked?
Modellfejlesztők és biztonsági csapatok számára lehet releváns, mert a súlyokon közvetlenül végzett átvilágítás és célzott viselkedésmódosítás ígéretes lehet. A kutatási fázisban lévő módszer képességei még korlátozottak, ezért egyelőre inkább figyelendő, mintsem bevethető eszköz.
Az eredeti megnyitása (The Decoder)
Eredeti cím: GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights
Címkék: modell, kutatás, finomhangolás