Modellek · The Decoder ·
A Baidu nyílt alapmodellt adott ki, az ERNIE 5.5 Flash Base 280 milliárd paraméterrel
A Baidu nyílt súlyú, 280 milliárd paraméteres ERNIE-5.5-Flash-Base alapmodelljét finomhangolás nélkül tette közzé, így a továbbfejlesztés iránya a fejlesztőkre marad.
A kínai Baidu az ERNIE-5.5-Flash-Base nevű nyílt alapmodellt finomhangolás és utótanítás nélkül adta ki, szándékosan, így a továbbfejlesztés a fejlesztők feladata. Utótanított változat várhatóan később érkezik.
Az ERNIE 5.5 szakértőkeverék (MoE) architektúrájú, 280 milliárd paramétere van, ebből bemenetenként 14 milliárd aktív. Az előtanítás 33,5 billió tokenen történt, 128 ezer tokenes tanítási kontextusablakkal, a finomhangolás és a következtetés során pedig akár egymillió tokenes kontextus támogatására tervezték.
Baidu szerint a modell érvelési, kódolási és hosszú kontextusú feladatokban a hasonló méretű nyílt alapmodellekkel, például a DeepSeek V4 Flash és a MiMo V2.5 modellekkel versenyez. A súlyok a Hugging Face platformon érhetők el FP8 és BF16 formátumban.
Miért fontos neked?
Kutatók és fejlesztők, akik saját célra szeretnének nyílt modellt továbbépíteni, most egy nyílt súlyú kiindulópontot kapnak. A teljesítményadatok egyelőre Baidu állításai, az utótanított verzió pedig még nem érhető el.
Az eredeti megnyitása (The Decoder)
Eredeti cím: Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
Címkék: alapmodell, nyílt forráskód