Modellek · MarkTechPost ·
A Nace AI nyílt súlyokkal adta ki a Drex Max v1 döntési modellt
A Nace AI nyílt súlyokkal közzétette a 27 milliárd paraméteres Drex Max v1 döntési modellt, amely saját hardveren, köztük Apple Silicon Mac-eken is futtatható.
A Nace AI nyílt súlyokkal kiadta a Drex Max v1 modellt, amely a cég legképesebb döntési modellje. A kiadás bf16 súlyokat, Q8_0 GGUF és affin Q4 változatot, valamint llama.cpp és Ollama elágazásokat tartalmaz. A modell egy kérdéssorhoz kapott állapotra (szöveg, JSON vagy kép) egyetlen előrefutással ad valószínűséget minden válaszlehetőségre, szöveget nem generál.
A dense, 27 milliárd paraméteres modell 262 144 tokenes kontextusablakkal rendelkezik, alapértelmezés szerint 16 384 tokennel, és kérdésenként legfeljebb 255 válaszlehetőséget kezel. A Nace AI önjelentett mérése szerint a Decision Index 0.4 teszten 67,52 pontot ért el, 6,27 ponttal a Drex v2.0 előtt (61,25). A cég szerint az Artificial Analysis Decision Indexben 64 ponttal a 18 modell közül a 4. helyen áll.
Futtatáshoz NVIDIA GPU és Python szükséges: H100-on bf16, L40S 48 GB-on 8 bites változatban. Apple Silicon Mac-en 24 GB memóriától az affin Q4, 48 GB-tól a Q8_0 GGUF változat használható, CPU-n llama.cpp és Ollama segítségével. Az öt futtatókörnyezet ugyanazt a POST /v1/systemone API-t kínálja.
Miért fontos neked?
Fejlesztőknek érdemes figyelniük, akik útválasztást, osztályozást vagy szabályellenőrzést automatizálnának helyi gépen, mert ezek a feladatok a forrás szerint saját hardveren maradhatnak. A teljesítményszámok a gyártótól származnak, ezért független méréssel érdemes ellenőrizni őket.
Az eredeti megnyitása (MarkTechPost)
Eredeti cím: Nace AI Open-Sources Drex Max v1: A 27B Decision Model That Runs Locally on Apple Silicon
Címkék: nyílt súlyok, döntési modell, helyi futtatás