# A Zyphra bemutatta a ZHA ritkás figyelemmódszert

*MarkTechPost · 2026-11-03 · Kutatás*

**A Zyphra kiadta a Zyphra Hierarchical Attention (ZHA) nevű ritkás figyelemmódszert, amely fa alapú kereséssel csökkentheti a kulcsok átvizsgálásának költségét hosszú kontextusban.**

A ZHA a **fa szerkezetű indexelőre** épül, amely a kulcsokat blokkokba rendezi és összefoglaló kulcsokká tömöríti. Az összefoglalókat szintenként újra összevonja, így a keresés nem pásztázza végig a teljes kontextust.

Lekérdezéskor a **top-p útválasztás** a becsült figyelemtömeg meghatározott hányadát lefedő csomópontokat választja ki, és csak ezek gyermekeit járja be. Az egyszerű kereséseknél kevés ág érintett, a több, szétszórt információt igénylő kérdéseknél több. A teljes KV-gyorsítótár megmarad, a fa csak azt határozza meg, mely kulcsokat olvassa a lekérdezés.

A Zyphra szerint a módszer körülbelül 4 milliárd tokenes desztillációval beépíthető **előre tanított modellekbe**, a modell súlyainak befagyasztása mellett. A Qwen3.6-35B-A3B-n hét érvelési, kódolási és visszakeresési teszten a teljes (dense) figyelem közelében maradt, a LongBench v2-n 63,4%-ot ért el a dense 58,0%-a helyett, a kulcsok mintegy 1,1%-át használva. A NoPE-alapú Nemotron-3.5-Lightning-30B-A3B modellen viszont a mélyfás változat a RULER-13 tesztben 25,3 ponttal maradt el a dense módtól.

## Miért számít?

Hosszú kontextusú modelleket fejlesztőknek és kutatóknak érdemes figyelniük, ha meglévő, befagyasztott modelleket szeretnének ritkás figyelemre átállítani. Az **optimalizált kernelek hiánya** miatt a gyorsulási számok egyelőre csak modellezett becslések.

---

Eredeti forrás: [Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention](https://www.marktechpost.com/2026/11/02/zyphra-hierarchical-attention-zha-sparse-attention)

Forrás: xhírek.hu – https://xhirek.hu/hir/a-zyphra-bemutatta-a-zha-ritkas-figyelemmodszert