Eszközök · Engadget ·
Mennyi hardver kell a helyi MI-modell futtatásához PC-n?
Egy 16 GB-os PC kisebb, 7–8 milliárd paraméteres modelleket futtat jól, a csúcsmodellekhez közelítő futtatáshoz viszont legalább 32 GB memória és 16 GB VRAM kell.
Az Ollamát vagy az LM Studiót letöltve, egy modell kiválasztása után néhány perc alatt működő helyi chatbot indítható. Nincs előfizetési díj, internetkapcsolat nélkül is működik, és az adatok nem hagyják el a számítógépet. Hogy mit lehet futtatni és milyen gyorsan válaszol, a gép teljesítményétől függ.
Egy 16 GB RAM-os átlagos PC-n nagyjából 7–8 milliárd paraméteres modellek futnak, például a Llama 3.1 8B vagy a Qwen3 8B, 8 GB VRAM-os videokártyával pedig ezek elég gyorsan válaszolnak. A memóriaigény a modell méretével szinte lineárisan nő, ezért a legtöbben négybites, tömörített változatot futtatnak; az Ollama könyvtárában a Gemma 3 27B 17 GB, a Llama 3.3 70B 43 GB helyet foglal. Közelebb álló modellekhez legalább 32 GB memória és 16 GB vagy több VRAM kell, ami a mai árakon nem olcsó.
Az Artificial Analysis áprilisi rangsorában a Qwen3.5 27B 42 pontot ért el, a vezető felhőmodellek 57-et. A Kimi K3 modell 2,8 billió paraméterével, súlyai nagyjából 1,4 TB-ot tesznek ki, így a csúcsmodellek adatközpontba valók.
Miért fontos neked?
Privát összefoglalóhoz vagy offline kódsegítséghez 16 GB-os PC elegendő lehet. Ha a felhőalapú chatbot helyettesítése a cél, 32 GB RAM vagy 16 GB-os videokártya kell, és a 32 GB-os DDR5 memória ára a Tom's Hardware szerint 434 dollár.
Az eredeti megnyitása (Engadget)
Eredeti cím: What hardware does your PC need to run a local AI model?
Címkék: helyi modell, hardver, adatvédelem