Kutatás · MarkTechPost ·
A Zyphra bemutatta a ZHA ritkás figyelemmódszert
A Zyphra kiadta a Zyphra Hierarchical Attention (ZHA) nevű ritkás figyelemmódszert, amely fa alapú kereséssel csökkentheti a kulcsok átvizsgálásának költségét hosszú kontextusban.
A ZHA a fa szerkezetű indexelőre épül, amely a kulcsokat blokkokba rendezi és összefoglaló kulcsokká tömöríti. Az összefoglalókat szintenként újra összevonja, így a keresés nem pásztázza végig a teljes kontextust.
Lekérdezéskor a top-p útválasztás a becsült figyelemtömeg meghatározott hányadát lefedő csomópontokat választja ki, és csak ezek gyermekeit járja be. Az egyszerű kereséseknél kevés ág érintett, a több, szétszórt információt igénylő kérdéseknél több. A teljes KV-gyorsítótár megmarad, a fa csak azt határozza meg, mely kulcsokat olvassa a lekérdezés.
A Zyphra szerint a módszer körülbelül 4 milliárd tokenes desztillációval beépíthető előre tanított modellekbe, a modell súlyainak befagyasztása mellett. A Qwen3.6-35B-A3B-n hét érvelési, kódolási és visszakeresési teszten a teljes (dense) figyelem közelében maradt, a LongBench v2-n 63,4%-ot ért el a dense 58,0%-a helyett, a kulcsok mintegy 1,1%-át használva. A NoPE-alapú Nemotron-3.5-Lightning-30B-A3B modellen viszont a mélyfás változat a RULER-13 tesztben 25,3 ponttal maradt el a dense módtól.
Miért fontos neked?
Hosszú kontextusú modelleket fejlesztőknek és kutatóknak érdemes figyelniük, ha meglévő, befagyasztott modelleket szeretnének ritkás figyelemre átállítani. Az optimalizált kernelek hiánya miatt a gyorsulási számok egyelőre csak modellezett becslések.
Az eredeti megnyitása (MarkTechPost)
Eredeti cím: Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
Címkék: figyelemmechanizmus, hosszú kontextus