Mennyi VRAM kell egy helyi AI-modellhez? Méret, kvantálás, kontextus

Mennyi VRAM kell egy helyi AI-modellhez? Méret, kvantálás, kontextus

Mennyi VRAM kell helyi AI modellhez, a modell súlya, a kontextus és a beállítások döntik el. A súly a paraméterszámból és a kvantálás bitszámából becsülhető. A kontextus növelése az Ollama dokumentációja szerint több memóriát kér. Ez a cikk hivatalos Ollama és GGUF források alapján mutatja a becslés menetét.

  • A modell súlyát a paraméterszám és a bit/súly érték adja, bájtra váltva.
  • A Q4_K típus a GGUF dokumentáció szerint 4,5 bit/súly.
  • A nagyobb kontextus az Ollama szerint több memóriát igényel.
  • Az ollama ps megmutatja, hogy a modell teljesen a GPU-n fut-e.

Az alapokat a A TOP10 nyílt forráskódú AI eszköz Linux rendszerre cikk adja. A kártyák összehasonlítását a melyik videókártya helyi AI-hoz cikk tartalmazza. A számok az Ollama és a Hugging Face dokumentációjából származnak. A saját számításainkat becslésként jelöljük.

 

Mennyi VRAM kell helyi AI modellhez?

A VRAM-igény nem egyetlen szám, hanem több tétel összege. Az első a modell súlya, a második a kontextus memóriája. A harmadik a párhuzamos kérések száma, mert az Ollama ilyenkor többszörözi a kontextust. Ebből az első tétel számolható a legkönnyebben, ezért a cikk ezzel indul.

Mennyi VRAM kell helyi AI modellhez, arra a cikk becslést ad, nem pontos mérést. Minden számnál jelöljük, hogy hivatalos forrásból vagy saját számításból származik. A pontos igényt az ollama ps mutatja, miután a modell betöltött. Ez a legmegbízhatóbb ellenőrzés a saját gépeden.

 

Hogyan becsüld a modell súlyának méretét?

A modell súlya durván a paraméterszám és a bit/súly szorzata, bájtra váltva. Ez a mi becslésünk, nem hivatalos képlet, ezért óvatosan használd. A bit/súly értékek a Hugging Face GGUF dokumentációjából jönnek. A táblázat egy 8 milliárd paraméteres modellre számol, GB-ban.

Utolsó frissítés: 2026-11-10
Típus Bit/súly (GGUF dokumentáció) Becsült méret 8 milliárd paraméterrel
F16 16 körülbelül 16 GB
Q6_K 6,5625 körülbelül 6,6 GB
Q5_K 5,5 körülbelül 5,5 GB
Q4_K 4,5 körülbelül 4,5 GB
Q3_K 3,4375 körülbelül 3,4 GB
Q2_K 2,625 körülbelül 2,6 GB

A számok csak a súlyokat tartalmazzák. A kontextus és a futtatás többlete ehhez jön hozzá. A valós fájlméret eltérhet a becsléstől. Ezért tekintsd az eredményt alsó becslésnek, és hagyj tartalékot.

 

Mit jelent a kvantálás a VRAM szempontjából?

A kvantálás a súlyokat kevesebb bitre sűríti, ezért a modell kisebb helyen elfér. A GGUF dokumentáció a típusokat bit/súly értékkel adja meg. A Q4_K 4,5 bit/súly, a Q6_K 6,5625, a Q8_0 pedig a legacy típusok között szerepel. A kisebb bitszám kisebb fájlt jelent.

A GGUF a Hugging Face dokumentációja szerint gyors betöltésre és mentésre optimalizált bináris formátum. A tenzorok mellett szabványos metaadatot is tárol. A Hub GGUF-nézegetője megmutatja a tenzorok nevét, alakját és pontosságát. A formátumról a GGUF formátum: mi ez cikk is szól.

Az egyes szintek minőségi különbségeit a kvantálás Q4, Q5, Q8 különbség cikk tárgyalja. Itt csak a memóriaigényt nézzük. Letöltés előtt érdemes megnézni a fájl méretét. A táblázat alapján az jól jelzi a VRAM-igényt.

 

Mennyit emel a kontextus a VRAM-igényen?

A kontextus hossza az Ollama szerint a memóriában tartott tokenek maximális száma. Az alapértelmezett hossz a VRAM-tól függ. 24 GiB alatt 4k, 24 és 48 GiB között 32k, 48 GiB-tól 256k. A nagyobb érték több memóriát kér, lásd az LLM kontextusablak: mi ez cikket.

Az ágensek, a keresés és a kódolóeszközök az Ollama szerint legalább 64000 tokent kérnek. Ezt az OLLAMA_CONTEXT_LENGTH változóval állíthatod. A beállítás emeli a szükséges memóriát, ezért előbb számolj a VRAM-mal. A parancs példája:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

A K/V gyorsítótár típusát az OLLAMA_KV_CACHE_TYPE változó adja meg, alapból f16. A q8_0 körülbelül fél, a q4_0 körülbelül negyed annyi memóriát használ. Az Ollama FAQ szerint ehhez Flash Attention kell. A q4_0 nagyobb kontextusnál észrevehetőbb pontosságvesztést okozhat.

Párhuzamos kérésnél a kontextus megszorzódik. Az Ollama példája szerint 2K kontextus 4 párhuzamos kérésnél 8K-t jelent. A memória az OLLAMA_NUM_PARALLEL és az OLLAMA_CONTEXT_LENGTH szorzatával nő. A párhuzamos kérések alapértéke 1.

 

Honnan látod, hogy a GPU-n fut?

Az ollama ps megmutatja a betöltött modelleket, a méretüket és a feldolgozó egységet. A PROCESSOR oszlop mondja meg, hol van a modell. A 100% GPU azt jelenti, hogy a modell teljesen a GPU-n van. A 100% CPU rendszermemóriát, a 48%/52% CPU/GPU megosztott futást jelent.

ollama ps

Az Ollama példakimenetében a gemma4:latest 9,6 GB méretű, 100% GPU-n fut, 131072 kontextussal. A SIZE oszlop a betöltött modell méretét mutatja. Ezt érdemes összevetni a saját becslésünkkel. A kettő eltérése megmutatja, mennyi a többlet.

Az Ollama a legjobb teljesítményhez a CPU-ra kiszervezés kerülését ajánlja. A sebességről a helyi modell sebessége token/másodperc cikk szól. Laptopra a helyi AI laptopon Linuxon cikk ad támpontot.

 

Mi történik, ha a modell nem fér el a VRAM-ban?

Ha a modell nem fér el a GPU-n, az Ollama a rendszermemóriára is kiszervez belőle. A PROCESSOR oszlop ilyenkor megosztott arányt mutat, például 48%/52% CPU/GPU. Az Ollama a legjobb teljesítményhez a CPU-ra kiszervezés elkerülését ajánlja. Több GPU esetén előbb egy kártyára próbálja betölteni a modellt.

Egyszerre több modell betöltéséhez az Ollama szerint mindegyiknek teljesen el kell férnie a VRAM-ban. Ha nincs elég memória, az új kérések sorba állnak. A tétlen modellek kiürülnek, hogy helyet adjanak az újnak. Az egyidejű modellek alapértelmezett maximuma GPU-nként három.

Ilyenkor három lehetőséged van. Választhatsz kisebb bitszámú típust, csökkentheted a kontextust, vagy kisebb modellt tölthetsz le. A 8 GB-os kártyákra a helyi AI modell választás 8 GB VRAM-hoz cikk ad példákat. Az Ollama telepítését az Ollama telepítése Ubuntun cikk mutatja.

 

Hogyan döntsd el a saját gépedhez a méretet?

Mennyi VRAM kell helyi AI modellhez, négy lépésben döntheted el. Minden lépés után ellenőrizd az eredményt, mielőtt továbblépsz a következőre. A becsült méretet ellenőrizd az ollama ps kimenetével. Ha nem fér el, lépj kisebb típusra vagy rövidebb kontextusra, és ismételd meg a mérést.

  1. Nézd meg a kártya VRAM-ját a gyártó adatlapján.
  2. Válassz paraméterszámot és kvantálást, és becsüld a súlyt a táblázat szerint.
  3. Hagyj helyet a kontextusnak, ágenseknél legalább 64000 tokennek.
  4. Töltsd be a modellt, és nézd meg az ollama ps kimenetét.

Egy 8 milliárd paraméteres Q4_K modell súlya becslésünk szerint körülbelül 4,5 GB. Egy 8 GB-os kártyán ez a súly elfér, de a kontextusnak is kell hely. Ez a mi becslésünk, nem hivatalos adat.

 

Gyakran ismételt kérdések

Mennyi VRAM kell helyi AI modellhez?

Mennyi VRAM kell helyi AI modellhez, azt a modell súlya, a kontextus és a párhuzamos kérések együtt adják. A súlyt a paraméterszámból és a bit/súly értékből becsülheted. A kontextus az Ollama szerint plusz memóriát kér. A pontos értéket az ollama ps mutatja.

 

Hogyan becsülhetem a modell méretét?

Szorozd a paraméterszámot a bit/súly értékkel, és váltsd bájtra. Ez saját becslés, nem hivatalos képlet. Egy 8 milliárd paraméteres Q4_K modell így körülbelül 4,5 GB. A tényleges fájlméret eltérhet.

 

Mit jelent a Q4_K?

A GGUF dokumentáció szerint a Q4_K 4 bites kvantálás. A leírt érték 4,5 bit/súly. Ez kisebb fájlt ad, mint a Q6_K vagy az F16. A típusok közötti minőségi különbséget külön cikkben tárgyaljuk.

 

Mennyi az Ollama alapértelmezett kontextusa?

Az Ollama dokumentációja szerint az alapértelmezett érték a VRAM-tól függ. 24 GiB alatt 4k, 24 és 48 GiB között 32k. 48 GiB-tól 256k. A beállítást az OLLAMA_CONTEXT_LENGTH változóval felülírhatod.

 

Mennyi memóriát takarít meg a q8_0 K/V gyorsítótár?

Az Ollama FAQ szerint a q8_0 körülbelül fele annyi memóriát használ, mint az f16. A pontosságvesztés nagyon kicsi. A q4_0 körülbelül negyed annyit használ. Ehhez Flash Attention kell.

 

Honnan tudom, hogy a modell a GPU-n fut?

Futtasd az ollama ps parancsot. A PROCESSOR oszlop szerint a 100% GPU teljesen a GPU-n futó modellt jelent. A 100% CPU rendszermemóriát jelent. A megosztott arány részleges kiszervezést jelez.

 

Mi történik, ha nem fér el a modell a VRAM-ban?

Az Ollama a modell egy részét a rendszermemóriába teszi. A PROCESSOR oszlop ilyenkor megosztott arányt mutat. A dokumentáció a legjobb teljesítményhez a CPU-ra kiszervezés elkerülését ajánlja. Több GPU esetén a modell szétoszlik a kártyák között.

 

Mennyi kontextus kell ágenseknek és kódolóeszközöknek?

Az Ollama szerint ágenseknél és kódolóeszközöknél legalább 64000 tokenre kell állítani a kontextust. Ez több memóriát kér. Előbb számolj a VRAM-mal. Ellenőrizd az ollama ps kimenetét.

Szerző: a Linuxinfok szerkesztősége. Utolsó frissítés: 2026-11-10. A parancsok a hivatalos dokumentáció alapján készültek, futtatás előtt ellenőrizd az aktuális oldalt.

 

Források és referenciák