Helyi LLM futtatása Linuxon: mi kell hozzá és hogyan kezdj neki

Helyi LLM futtatása Linuxon: mi kell hozzá és hogyan kezdj neki

A helyi LLM futtatása Linuxon azt jelenti, hogy a nyelvi modell a saját gépeden fut, nem külső szolgáltatásnál. A promptjaid így nem hagyják el a gépet, és nincs szükség előfizetésre. Ez az útmutató az Ollama eszközzel mutatja meg az első lépéseket. A hardvertől a telepítésig és az ellenőrzésig mindent végigveszünk.

  • A helyi modell a saját gépeden fut, a promptjaid nem mennek ki.
  • Az Ollama egyetlen paranccsal telepíthető Linuxra.
  • A videokártya gyorsítja a futtatást, de nélküle is elindul.
  • Az ollama ps megmutatja, hogy a GPU-t vagy a CPU-t használja.

Ha konkrét telepítési lépéseket keresel, nézd meg a Ollama telepítése Ubuntun cikket. A helyi LLM futtatása Linuxon összefoglaló írás, és a részletekhez a további cikkekre mutat. A parancsokat az Ollama hivatalos dokumentációjából vettük.

 

Mit kell tudnod a helyi LLM futtatása Linuxon előtt?

Három dolog kell hozzá: egy Linux gép, egy futtatóeszköz és egy letöltött modell. A futtatóeszköz lehet az Ollama, amely a modelleket letölti, betölti és kiszolgálja. A videokártya nem kötelező, de érezhetően gyorsítja a futtatást. Az alábbi táblázat a lehetőségeket foglalja össze.

Utolsó frissítés: 2026-11-10
Hardver Támogatás Mire figyelj?
NVIDIA videokártya 5.0 feletti compute capability Legalább 550-es driver kell
Régebbi NVIDIA kártya 5.0 és 6.2 közötti érték 570-es vagy újabb driver kell
AMD videokártya ROCm v7 driver Linuxon Külön driverkészlet szükséges
Csak processzor Fut, grafikus gyorsítás nélkül Lassabb lehet

A táblázat az Ollama GPU-dokumentációjára épül. A pontos követelmények verziónként változhatnak, ezért futtatás előtt nézd meg az aktuális oldalt. A mennyiségi igényről, vagyis a videomemóriáról a mennyi VRAM kell helyi AI-modellhez cikk szól.

 

Milyen hardver és driver kell a helyi LLM-hez?

Az Ollama dokumentációja szerint NVIDIA kártyánál legalább 5.0 compute capability és 550-es driver kell. Az 5.0 és 6.2 közötti kártyákhoz 570-es vagy újabb driver szükséges. AMD kártyán Linuxon az AMD ROCm v7 driver kell. Ha egyik sem teljesül, a helyi LLM futtatása Linuxon processzoron is megy.

Ubuntun a drivert a csomagkezelővel érdemes telepíteni. Ezt a NVIDIA driver telepítése Ubuntun cikk mutatja be. A hivatalos módszer aláírt drivert ad, ami Secure Boot mellett is működik.

A videokártyád típusát a lspci paranccsal nézheted meg. A kimenetben keresd a VGA vagy a 3D vezérlő sort. Ebből kiderül, hogy NVIDIA vagy AMD kártyád van. Ez dönti el, melyik driver kell.

Ne feledd, hogy a drivertelepítés után újraindítás is kellhet. Ha a driver nem működik, az Ollama a processzorra esik vissza. Ilyenkor a modell tovább fut, csak lassabban. Ezért érdemes a telepítés után ellenőrizni, hogy a GPU tényleg szerepel-e a folyamatban.

Reális elvárásokkal érdemes indulnod, mert a helyi futtatásnak előnyei és korlátai is vannak:

  • Előny az adatvédelem, az offline használat és a kiszámítható költség.
  • Korlát, hogy a gép teljesítménye szabja meg a használható modell méretét.
  • A felhős szolgáltatások nagy modelljeit otthoni gépen többnyire nem érheted el.
  • Egy kisebb modell kérdésekre válaszol, szöveget foglal össze és kódot magyaráz.
  • A legnagyobb modellek teljesítményét nem éri el, de kezdetnek bőven elég.

 

Hogyan telepítsd az Ollamát Linuxra?

Az Ollama hivatalos Linux-telepítése egyetlen parancs, amely letölti és lefuttatja a telepítő szkriptet. Telepítés után a szolgáltatás systemd alatt fut, és a systemctl status ollama paranccsal ellenőrizhető. Frissítéshez ugyanazt a parancsot kell újra lefuttatnod. Ennyi a teljes kezdő beállítás, és utána már csak modellt kell választanod.

curl -fsSL https://ollama.com/install.sh | sh

Kézi telepítésnél a dokumentáció külön felhasználót és systemd szolgáltatásfájlt ír le. A szolgáltatás az /usr/bin/ollama serve parancsot indítja, és hiba után újraindul. Kezdőként a telepítő szkript egyszerűbb. A kézi mód akkor hasznos, ha pontosan szeretnéd szabályozni a beállításokat.

A helyi LLM futtatása Linuxon ezen a parancson indul, amely egy távoli szkriptet futtat a gépeden. Ezért telepítés előtt nyisd meg a szkriptet egy szerkesztőben, és olvasd át. Csak akkor futtasd, ha megbízol a forrásban. A hivatalos dokumentáció ezt a módot írja le elsőként.

A telepítés után ellenőrizd a szolgáltatás állapotát:

sudo systemctl status ollama

A dokumentáció szerint a naplót a journalctl -e -u ollama paranccsal olvashatod. A szolgáltatás beállítását a sudo systemctl edit ollama paranccsal módosíthatod. Konkrét verziót az OLLAMA_VERSION változóval telepíthetsz.

A témában két további cikk is segít:

 

Hogyan futtasd az első modellt?

Az első modell futtatásához az ollama run parancsot használod a választott modell nevével. Az Ollama az első indításkor letölti a modellt, ami a méretétől függően eltarthat egy ideig. A letöltés után egy parancssoros csevegőben beszélgethetsz a modellel. A kilépés után a modell egy ideig még a memóriában marad.

ollama run <modellnév>

A parancs egy beszélgetést nyit a terminálban. Ide begépelheted a kérdésedet, és a modell válaszol. A kilépéshez a beépített kilépő parancsot vagy a Ctrl+D billentyűt használd. A következő indításnál a modell már nem tölti le magát újra.

A <modellnév> helyére a kiválasztott modell neve kerül. A modellek között válogathatsz, de kezdőként érdemes kisebbel indulnod. Egy kisebb modell kevesebb memóriát igényel, és gyorsabban tölt be. Ha később kevés, bármikor átválthatsz nagyobbra.

Kezdőként kövesd ezt a sorrendet: előbb egy kisebb modell, utána a nagyobbak. Minden váltás előtt nézd meg az ollama ps kimenetét. Így látod, mennyire terheli a gépet az adott modell. A rossz választás nem okoz kárt, csak lassabb lesz a válasz.

Az Ollama GYIK-ja szerint a modellek kezelése a következő:

  • A modellek alapból 5 percig maradnak a memóriában, ezt az OLLAMA_KEEP_ALIVE változóval módosíthatod.
  • Azonnali kiürítéshez az ollama stop parancs szolgál.
  • Linuxon a letöltött modellek az /usr/share/ollama/.ollama/models mappába kerülnek.

 

Hogyan ellenőrizd, hogy a GPU-t használja?

Futó modell mellett add ki az ollama ps parancsot, és nézd meg a Processor oszlopot. A „100% GPU” azt jelenti, hogy a modell teljesen a videomemóriában van. A „100% CPU” a rendszermemóriát jelzi. A kettő közötti arány, például „48%/52% CPU/GPU”, megosztott futtatást mutat.

ollama ps

Ha a modell nem fér a videomemóriába, az Ollama megosztja a terhelést a processzor és a GPU között. Ez működik, de lassíthatja a válaszokat. Ilyenkor kisebb modellt érdemes választanod.

A dokumentáció egy Linux-specifikus esetet is említ. Altatás és ébresztés után az Ollama nem biztos, hogy megtalálja az NVIDIA kártyát, és a processzorra esik vissza. Ilyenkor a szolgáltatás újraindítása segíthet. A napló ellenőrzéséhez használd a journalctl -e -u ollama parancsot.

A GPU-használat értékeléséhez néhány szempontot érdemes ellenőrizned:

  • A teljes GPU-használat nem mindig elérhető, és ez nem hiba.
  • Ha a modell nagyobb a videomemóriánál, a megosztott futás természetes.
  • Fontos, hogy legalább a számítás egy része a kártyán történjen.
  • Teljes CPU-futásnál viszont érdemes keresni az okát.

Ha a GPU-t nem találja, először a drivert ellenőrizd. A kártya működéséről a nvidia-smi adhat képet, amelynek hibáit a NVIDIA driver telepítése Ubuntun cikk érinti. Ha minden rendben, az ollama ps már a GPU-t mutatja.

 

Mire figyelj az adatvédelemnél és a hálózatnál?

Az Ollama GYIK-ja szerint a helyi használat a gépeden marad, a szolgáltató nem látja a promptjaidat. A felhőalapú modellek viszont az ollama.com felé küldik a kéréseket. A két mód között tudatosan válassz. A részletes összehasonlítást a helyi AI és felhős AI adatvédelmi összehasonlítása adja.

Az Ollama alapból a 127.0.0.1 címen és a 11434-es porton figyel. Így a helyi LLM futtatása Linuxon alapból csak a saját gépedről érhető el. Ha ezt az OLLAMA_HOST változóval kinyitod a hálózatra, bárki hozzáférhet, aki eléri a gépet. Linuxon a változót a systemd szolgáltatásba kell beállítani, majd újraindítani.

Ha távolról szeretnéd használni a modellt, inkább biztonságos csatornán, például SSH-alagúton keresztül tedd. Így az Ollama portját nem kell az internetre kinyitnod. Ez a megoldás kisebb támadási felületet jelent.

Hálózatra nyitás előtt gondold végig a védelmet. Egy szerveren a tűzfal és a hozzáférés-korlátozás alapvető. Ebben a Iptables: a Linux tűzfalrendszer áttekintése segít.

 

Mire használhatod tovább a helyi AI-t?

Ha a helyi modell fut, többféle projektet építhetsz rá. A legkézenfekvőbb egy saját csevegőfelület, amelyet a A TOP10 nyílt forráskódú AI eszköz Linuxra cikk mutat be. Képgeneráláshoz a Stable Diffusion telepítése Linuxon a következő lépés. Mindkettő a már működő driverre épít.

Ha saját szkripteket írsz a modellhez, használj virtuális környezetet. Ez nem keveri össze a Python-csomagokat a rendszeréivel. Ennek menetét a Python virtuális környezet AI projekthez cikk írja le.

Ha a modellt programból szeretnéd elérni, az Ollama a háttérben egy helyi szolgáltatást indít. Erre alkalmazásokat is építhetsz. Éles használat előtt mindig gondold át a hozzáférést.

Két gyakorlati kérdést még érdemes végiggondolnod, a tárhelyet és a futtató gépet:

  • Ha kevés a hely, a letöltött modellt bármikor törölheted, és később újra letöltheted.
  • Érdemes időnként átnézni, mely modellekre van valóban szükséged, így a lemez nem telik meg feleslegesen.
  • Az állandóan bekapcsolt otthoni gép kényelmes, de energiát fogyaszt.
  • A laptop elég a kísérletezéshez, rendszeres használatnál viszont dedikált gépet érdemes választanod.

 

Gyakori kérdések a helyi LLM futtatásáról

Mi kell a helyi LLM futtatásához Linuxon?

Egy Linux gép, egy futtatóeszköz, például az Ollama, és egy letöltött modell. A videokártya nem kötelező, de gyorsít. Nélküle a modell a processzoron fut.

 

Melyik NVIDIA kártyát támogatja az Ollama?

Az Ollama dokumentációja szerint az 5.0-s vagy újabb compute capability-jű kártyákat, 550-es vagy újabb driverrel. Az 5.0 és 6.2 közötti kártyákhoz 570-es vagy újabb driver kell. Az AMD kártyákhoz Linuxon ROCm v7 szükséges.

 

Hogyan telepíthetem az Ollamát Linuxra?

Futtasd a hivatalos telepítő szkriptet a curl -fsSL https://ollama.com/install.sh | sh paranccsal. Futtatás előtt olvasd át a szkriptet. A telepítés után a systemctl status ollama mutatja a szolgáltatás állapotát.

 

Honnan tudom, hogy a GPU-t használja a modell?

Az ollama ps parancs Processor oszlopa mutatja. A 100% GPU teljes videomemóriás futtatást jelent. A 100% CPU a rendszermemóriát, a két érték aránya pedig megosztott futtatást.

 

Meddig marad a modell a memóriában?

Az Ollama GYIK-ja szerint alapból 5 percig. Ezt az OLLAMA_KEEP_ALIVE változóval módosíthatod. Azonnali kiürítéshez használd az ollama stop parancsot.

 

Hol tárolja az Ollama a modelleket Linuxon?

Az Ollama GYIK-ja szerint az /usr/share/ollama/.ollama/models mappában. A mappa mérete a letöltött modellek számával nő. Érdemes figyelni a szabad helyre.

 

Elhagyják a promptjaim a gépemet?

Helyi használatnál az Ollama GYIK-ja szerint nem látják a promptjaidat és az adataidat. A felhőalapú modellek viszont az ollama.com felé küldik a kéréseket. Ezért mindig ellenőrizd, melyik módot használod.

Szerző: a Linuxinfok szerkesztősége. Utolsó frissítés: 2026-11-10. A parancsok a hivatalos dokumentáció alapján készültek, futtatás előtt ellenőrizd az aktuális oldalt.

 

Források és referenciák