Mennyi VRAM kell helyi AI modellhez, a modell súlya, a kontextus és a beállítások döntik el. A súly a paraméterszámból és a kvantálás bitszámából becsülhető. A kontextus növelése az Ollama dokumentációja szerint több memóriát kér. Ez a cikk hivatalos Ollama és GGUF források alapján mutatja a becslés menetét.
- A modell súlyát a paraméterszám és a bit/súly érték adja, bájtra váltva.
- A Q4_K típus a GGUF dokumentáció szerint 4,5 bit/súly.
- A nagyobb kontextus az Ollama szerint több memóriát igényel.
- Az
ollama psmegmutatja, hogy a modell teljesen a GPU-n fut-e.
Az alapokat a A TOP10 nyílt forráskódú AI eszköz Linux rendszerre cikk adja. A kártyák összehasonlítását a melyik videókártya helyi AI-hoz cikk tartalmazza. A számok az Ollama és a Hugging Face dokumentációjából származnak. A saját számításainkat becslésként jelöljük.
Mennyi VRAM kell helyi AI modellhez?
A VRAM-igény nem egyetlen szám, hanem több tétel összege. Az első a modell súlya, a második a kontextus memóriája. A harmadik a párhuzamos kérések száma, mert az Ollama ilyenkor többszörözi a kontextust. Ebből az első tétel számolható a legkönnyebben, ezért a cikk ezzel indul.
Mennyi VRAM kell helyi AI modellhez, arra a cikk becslést ad, nem pontos mérést. Minden számnál jelöljük, hogy hivatalos forrásból vagy saját számításból származik. A pontos igényt az ollama ps mutatja, miután a modell betöltött. Ez a legmegbízhatóbb ellenőrzés a saját gépeden.
Hogyan becsüld a modell súlyának méretét?
A modell súlya durván a paraméterszám és a bit/súly szorzata, bájtra váltva. Ez a mi becslésünk, nem hivatalos képlet, ezért óvatosan használd. A bit/súly értékek a Hugging Face GGUF dokumentációjából jönnek. A táblázat egy 8 milliárd paraméteres modellre számol, GB-ban.
| Típus | Bit/súly (GGUF dokumentáció) | Becsült méret 8 milliárd paraméterrel |
|---|---|---|
| F16 | 16 | körülbelül 16 GB |
| Q6_K | 6,5625 | körülbelül 6,6 GB |
| Q5_K | 5,5 | körülbelül 5,5 GB |
| Q4_K | 4,5 | körülbelül 4,5 GB |
| Q3_K | 3,4375 | körülbelül 3,4 GB |
| Q2_K | 2,625 | körülbelül 2,6 GB |
A számok csak a súlyokat tartalmazzák. A kontextus és a futtatás többlete ehhez jön hozzá. A valós fájlméret eltérhet a becsléstől. Ezért tekintsd az eredményt alsó becslésnek, és hagyj tartalékot.
Mit jelent a kvantálás a VRAM szempontjából?
A kvantálás a súlyokat kevesebb bitre sűríti, ezért a modell kisebb helyen elfér. A GGUF dokumentáció a típusokat bit/súly értékkel adja meg. A Q4_K 4,5 bit/súly, a Q6_K 6,5625, a Q8_0 pedig a legacy típusok között szerepel. A kisebb bitszám kisebb fájlt jelent.
A GGUF a Hugging Face dokumentációja szerint gyors betöltésre és mentésre optimalizált bináris formátum. A tenzorok mellett szabványos metaadatot is tárol. A Hub GGUF-nézegetője megmutatja a tenzorok nevét, alakját és pontosságát. A formátumról a GGUF formátum: mi ez cikk is szól.
Az egyes szintek minőségi különbségeit a kvantálás Q4, Q5, Q8 különbség cikk tárgyalja. Itt csak a memóriaigényt nézzük. Letöltés előtt érdemes megnézni a fájl méretét. A táblázat alapján az jól jelzi a VRAM-igényt.
Mennyit emel a kontextus a VRAM-igényen?
A kontextus hossza az Ollama szerint a memóriában tartott tokenek maximális száma. Az alapértelmezett hossz a VRAM-tól függ. 24 GiB alatt 4k, 24 és 48 GiB között 32k, 48 GiB-tól 256k. A nagyobb érték több memóriát kér, lásd az LLM kontextusablak: mi ez cikket.
Az ágensek, a keresés és a kódolóeszközök az Ollama szerint legalább 64000 tokent kérnek. Ezt az OLLAMA_CONTEXT_LENGTH változóval állíthatod. A beállítás emeli a szükséges memóriát, ezért előbb számolj a VRAM-mal. A parancs példája:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
A K/V gyorsítótár típusát az OLLAMA_KV_CACHE_TYPE változó adja meg, alapból f16. A q8_0 körülbelül fél, a q4_0 körülbelül negyed annyi memóriát használ. Az Ollama FAQ szerint ehhez Flash Attention kell. A q4_0 nagyobb kontextusnál észrevehetőbb pontosságvesztést okozhat.
Párhuzamos kérésnél a kontextus megszorzódik. Az Ollama példája szerint 2K kontextus 4 párhuzamos kérésnél 8K-t jelent. A memória az OLLAMA_NUM_PARALLEL és az OLLAMA_CONTEXT_LENGTH szorzatával nő. A párhuzamos kérések alapértéke 1.
Honnan látod, hogy a GPU-n fut?
Az ollama ps megmutatja a betöltött modelleket, a méretüket és a feldolgozó egységet. A PROCESSOR oszlop mondja meg, hol van a modell. A 100% GPU azt jelenti, hogy a modell teljesen a GPU-n van. A 100% CPU rendszermemóriát, a 48%/52% CPU/GPU megosztott futást jelent.
ollama ps
Az Ollama példakimenetében a gemma4:latest 9,6 GB méretű, 100% GPU-n fut, 131072 kontextussal. A SIZE oszlop a betöltött modell méretét mutatja. Ezt érdemes összevetni a saját becslésünkkel. A kettő eltérése megmutatja, mennyi a többlet.
Az Ollama a legjobb teljesítményhez a CPU-ra kiszervezés kerülését ajánlja. A sebességről a helyi modell sebessége token/másodperc cikk szól. Laptopra a helyi AI laptopon Linuxon cikk ad támpontot.
Mi történik, ha a modell nem fér el a VRAM-ban?
Ha a modell nem fér el a GPU-n, az Ollama a rendszermemóriára is kiszervez belőle. A PROCESSOR oszlop ilyenkor megosztott arányt mutat, például 48%/52% CPU/GPU. Az Ollama a legjobb teljesítményhez a CPU-ra kiszervezés elkerülését ajánlja. Több GPU esetén előbb egy kártyára próbálja betölteni a modellt.
Egyszerre több modell betöltéséhez az Ollama szerint mindegyiknek teljesen el kell férnie a VRAM-ban. Ha nincs elég memória, az új kérések sorba állnak. A tétlen modellek kiürülnek, hogy helyet adjanak az újnak. Az egyidejű modellek alapértelmezett maximuma GPU-nként három.
Ilyenkor három lehetőséged van. Választhatsz kisebb bitszámú típust, csökkentheted a kontextust, vagy kisebb modellt tölthetsz le. A 8 GB-os kártyákra a helyi AI modell választás 8 GB VRAM-hoz cikk ad példákat. Az Ollama telepítését az Ollama telepítése Ubuntun cikk mutatja.
Hogyan döntsd el a saját gépedhez a méretet?
Mennyi VRAM kell helyi AI modellhez, négy lépésben döntheted el. Minden lépés után ellenőrizd az eredményt, mielőtt továbblépsz a következőre. A becsült méretet ellenőrizd az ollama ps kimenetével. Ha nem fér el, lépj kisebb típusra vagy rövidebb kontextusra, és ismételd meg a mérést.
- Nézd meg a kártya VRAM-ját a gyártó adatlapján.
- Válassz paraméterszámot és kvantálást, és becsüld a súlyt a táblázat szerint.
- Hagyj helyet a kontextusnak, ágenseknél legalább 64000 tokennek.
- Töltsd be a modellt, és nézd meg az
ollama pskimenetét.
Egy 8 milliárd paraméteres Q4_K modell súlya becslésünk szerint körülbelül 4,5 GB. Egy 8 GB-os kártyán ez a súly elfér, de a kontextusnak is kell hely. Ez a mi becslésünk, nem hivatalos adat.
Gyakran ismételt kérdések
Mennyi VRAM kell helyi AI modellhez?
Mennyi VRAM kell helyi AI modellhez, azt a modell súlya, a kontextus és a párhuzamos kérések együtt adják. A súlyt a paraméterszámból és a bit/súly értékből becsülheted. A kontextus az Ollama szerint plusz memóriát kér. A pontos értéket az ollama ps mutatja.
Hogyan becsülhetem a modell méretét?
Szorozd a paraméterszámot a bit/súly értékkel, és váltsd bájtra. Ez saját becslés, nem hivatalos képlet. Egy 8 milliárd paraméteres Q4_K modell így körülbelül 4,5 GB. A tényleges fájlméret eltérhet.
Mit jelent a Q4_K?
A GGUF dokumentáció szerint a Q4_K 4 bites kvantálás. A leírt érték 4,5 bit/súly. Ez kisebb fájlt ad, mint a Q6_K vagy az F16. A típusok közötti minőségi különbséget külön cikkben tárgyaljuk.
Mennyi az Ollama alapértelmezett kontextusa?
Az Ollama dokumentációja szerint az alapértelmezett érték a VRAM-tól függ. 24 GiB alatt 4k, 24 és 48 GiB között 32k. 48 GiB-tól 256k. A beállítást az OLLAMA_CONTEXT_LENGTH változóval felülírhatod.
Mennyi memóriát takarít meg a q8_0 K/V gyorsítótár?
Az Ollama FAQ szerint a q8_0 körülbelül fele annyi memóriát használ, mint az f16. A pontosságvesztés nagyon kicsi. A q4_0 körülbelül negyed annyit használ. Ehhez Flash Attention kell.
Honnan tudom, hogy a modell a GPU-n fut?
Futtasd az ollama ps parancsot. A PROCESSOR oszlop szerint a 100% GPU teljesen a GPU-n futó modellt jelent. A 100% CPU rendszermemóriát jelent. A megosztott arány részleges kiszervezést jelez.
Mi történik, ha nem fér el a modell a VRAM-ban?
Az Ollama a modell egy részét a rendszermemóriába teszi. A PROCESSOR oszlop ilyenkor megosztott arányt mutat. A dokumentáció a legjobb teljesítményhez a CPU-ra kiszervezés elkerülését ajánlja. Több GPU esetén a modell szétoszlik a kártyák között.
Mennyi kontextus kell ágenseknek és kódolóeszközöknek?
Az Ollama szerint ágenseknél és kódolóeszközöknél legalább 64000 tokenre kell állítani a kontextust. Ez több memóriát kér. Előbb számolj a VRAM-mal. Ellenőrizd az ollama ps kimenetét.
Szerző: a Linuxinfok szerkesztősége. Utolsó frissítés: 2026-11-10. A parancsok a hivatalos dokumentáció alapján készültek, futtatás előtt ellenőrizd az aktuális oldalt.
Források és referenciák
- Ollama dokumentáció: kontextushossz
- Ollama GYIK
- Hugging Face: GGUF formátum és kvantálási típusok
- Kép forrás: Pexels.com