‹ Zurück

Ich gebe keine Garantie auf eine ordentliche Funktionsweise. Ich schließe auch nicht aus, dass man ein Betriebssystem oder die Hardware damit crashen kann. Diese Vorgehensweise hat bei meinem Gerät funktioniert. 

 

Die Verwendung empfiehlt sich primär bei älteren Geräten, z.B. mit Nvidia 3060 GPU oder vergleichbarer AMD GPU. Neuere Geräte werden wahrscheinlich ausreichend CPU-Leistung zur Verfügung stellen können (ausprobieren kann sich trotzdem lohnen).

 

Zusätzlich kann eine kleinere KI verwendet werden, z.B. Ministral-3:3B oder Gemma4:E4B. Oder eine ältere KI…  

 

Vorgehensweise für Windows 11 mit einer KI im Ollama Container für Docker und einer Nvidia GPU 

 

 

1. Zuerst die Nvidia Treiber aktualisieren, falls noch nicht geschehen

2. Dann das „Docker“ über die offizielle Webseite docker.com installieren! Aktuell der bessere Ansatz. Die Webseite stellt einen Installer bereit.

3. Unter Windows 11 benötigt man zwingend das WSL 2 mit einem Linux!

   1. Installation des WSL 2 über die Powershell als Administrator mit „wsl —install“

   2. eine Distribution installieren 

   3. Der Befehl „wsl —list —online“ zeigt installierbare Distributionen an

   4. Der Befehl „wsl — install -d Debian“ installiert und startet Debian Linux (hat erfolgreich funktioniert)

4. Das Nvidia Toolkit installieren

   1. In der WSL im Debian den Befehl „sudo apt update“ ausführen, um die Paketquellen zu aktualisieren (falls Debian verwendet)

   2. Dann mit „apt“ fehlende Programme installieren; „sudo apt install -y curl gpg“ (wenn weitere fehlen, dann wird es später angezeigt)

   3. Dann diesen langen Befehl ausführen, um die Dateien für das Toolkit von Github runterzuladen: 

      • curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

      • sudo apt update

      • sudo apt install -y nvidia-container-toolkit

 

Ganz wichtig: Docker Desktop sagen, dass Debian da ist!

 

Damit Docker Desktop die GPU-Beschleunigung über Debian sauber abwickelt:

 

1. Öffne die Docker Desktop Einstellungen (das Zahnrad).
2. Gehe zu Resources -> WSL Integration.
3. Aktiviere den Schalter bei Debian.
4. Klicke auf Apply & Restart.

 

Damit die Sache mit der KI Beschleunigung funktioniert, muss auch der Container mit

entsprechender Anweisung über das Terminal erstellt werden: 

• docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

Danach kann man die LOG Dateien prüfen, um zu sehen, ob tatsächlich die GPU verwendet wird (sollte man bereits am Stromverbrauch merken):

• docker logs ollama

 

In den LOG’s steht dann etwas von NVIDIA GPU detected oder CUDA VRAM detected: 4096 MB.

 

KI im Ollama Container installieren und Fertig! 

 

• docker exec -it ollama ollama run gemma4:e2b

 

####################################################

Jetzt könnte es passieren, dass die Sache abstürzt. Schaut in den Nvidia Einstellungen nach, ob die GPU als primäre GPU aktiviert wurde:

 

1. NVIDIA-Systemsteuerung
2. Öffne die NVIDIA Systemsteuerung.
3. Gehe zu 3D-Einstellungen verwalten.
4. Wähle als Bevorzugten Grafikprozessor: NVIDIA Hochleistungsprozessor.
5. Klicke auf "Übernehmen".

 

Ansonsten kann man noch versuchen, den Container mit der direkten Zuweisung eines Grafikchips zu erstellen:

• docker run -d --gpus all -e NVIDIA_VISIBLE_DEVICES=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
•  

Das Heizlüftergebläse läuft an. Ideal für die noch frische Jahreszeit. 

 

Manche Notebookhersteller ermöglichen die Konfiguration der Grafikchips. Da kann man zum Beispiel einstellen, wie viel Leistung dem Chip zur Verfügung gestellt werden soll. Das kann helfen, den Stromverbrauch zu senken und die Hitzeentwicklung zu reduzieren. Aber grundsätzlich ist der Ansatz mit Windows ein richtiger Stromfresser. 

 

Oder ihr setzt beim Erstellen des Container eine Ollama Variabel, um die GPU schneller in den Ruhezustand zu schicken (nicht getestet): -e OLLAMA_KEEP_ALIVE=15s 

 

Eine AMD GPU funktioniert auch, aber habe ich unter Windows nicht getestet. Dafür unter Linux. Schaut da mal rein.

 

Vorgehensweise für Kubuntu Linux mit einer KI im Ollama Container für Docker und einer Nvidia GPU 

 

Die technische Konfiguration: 

Ein Notebook mit Ryzen CPU. Es gibt eine iGPU von AMD und eine dGPU von Nvidia. Die iGPU hängt am Prozessor und erreicht nicht mal im Ansatz die Leistung der dGPU. Aber die iGPU kann den Desktop anzeigen, während die dGPU die KI-Berechnungen übernimmt. Die eigentliche CPU kann sich mehr oder weniger ausruhen, weil die GPUs die meiste Arbeit übernehmen. Das spart Strom. Aber zuerst einmal ausprobieren, ob es vielleicht sogar genügen würde, die iGPU für Desktop- und KI-Berechnungen zu verwenden. Die dGPU ist deaktiviert. 

 

Vorgehensweise, um die AMD iGPU für KI Berechnungen zu verwenden  

 

Docker läuft unter Kubuntu 24 vollständig im Snap Container. Das ist sehr ungünstig, weil die Rechte einen intensiven Hardwarezugriff unterbinden. Man kann es umständlich anpassen, aber einfacher ist es, Docker im Snap zu deinstallieren und von docker.com zu installieren. (sudo snap remove docker)

 

Mit folgenden Befehl im Terminal sicherstellen, dass die AMD GPU tatsächlich als einzige GPU aktiv ist:

• prime-select intel

 

Funktioniert das nicht, dann im BIOS schauen, ob die Konfiguration im dort passt:

• sicherstellen, dass das Notebook im "Hybrid"- oder "Optimus"-Modus läuft, nicht im "Discrete Only" Modus.

 

Wenn sich die Speicherzuweisung der iGPU nicht im BIOS einstellen lässt (sehr wahrscheinlich heutzutage), dann kann man es über Grub versuchen. Folgende Zeile anpassen:

1. Öffne das Terminal: sudo nano /etc/default/grub
2. Ändere die Zeile so ab (8192 MB = 8 GB reserviert für Grafik-Operationen): GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amdgpu.gttsize=8192 iommu=pt"
3. Speichere mit Strg+O, beende mit Strg+X.
4. Ganz wichtig: sudo update-grub und dann Neustart.

 

Den Container im Docker mit folgender Anweisung über das Terminal erstellen (ROCM Image):

docker run -d \

  --device /dev/kfd --device /dev/dri \

  -v ollama:/root/.ollama \

  -p 11434:11434 \

  --name ollama-amd \

  -e HSA_OVERRIDE_GFX_VERSION=10.3.0 \

  ollama/ollama:rocm

 

Verwendet ihr einen Ryzen 7000/8000 dann als Version 11.0.2 verwenden!

 

Es kann zu Grafikproblemen kommen! Das liegt an der Speichernutzung, weil das eine Programm den Zugriff sperrt und ein anderes aber ran muss usw. Dann müsst ihr den Container mit Vulkan neu bereitstellen: 

docker run -d \

  --device /dev/dri \

  -v ollama:/root/.ollama \

  -p 11434:11434 \

  --name ollama-vulkan \

  -e OLLAMA_VULKAN=1 \

  ollama/ollama

 

Die KI installieren; https://ollama.com/library/mistral/tags zeigt aktuell unterstützte KI’s

 

Sehr wahrscheinlich wird die iGPU auf älteren Systemen zu langsam sein, aber im Gegenzug sehr viel Strom kosten. Deswegen weiter mit der dGPU als KI-Rechenmaschine und der iGPU für die Anzeige von Programmen usw.

 

Vorgehensweise, um die Nvidia dGPU für KI Berechnungen zu verwenden 

 

Docker läuft unter Kubuntu 24 vollständig im Snap Container. Das ist sehr ungünstig, weil die Rechte einen intensiven Hardwarezugriff unterbinden. Man kann es umständlich anpassen, aber einfacher ist es, Docker im Snap zu deinstallieren und von docker.com zu installieren. (sudo snap remove docker)

 

Die Nvidia Treiber (580 sollte zur Zeit die aktuelle Version sein) und das Nvidia Toolkit installieren:

• sudo ubuntu-drivers install nvidia:580
• sudo apt install nvidia-container-toolkit

 

Das war's, fast....

 

#################################################

Nach dem Neustart funktioniert die Nvidia dGPU, aber der Treiber stürzt beim Docker ab. Eine Lösung könnte sein:

• Zurücksetzen des Toolkits:
  • sudo nvidia-ctk runtime configure --runtime=docker --set-as-default
  • sudo systemctl restart docker 
• Oder das Umgehen des Management Chips der dGPU:
  • sudo nano /etc/modprobe.d/nvidia-gsp.conf
  • Folgendes in die Datei schreiben:
    • options nvidia NVreg_EnableGpuFirmware=0
  • Initramfs neu setzen und Neustart:
  • sudo update-initramfs -u

 

Nach dem Neustart funktioniert der Treiber, aber es wird vielleicht nur ein sehr kleiner Teil vom VRAM der dGPU verwendet, dann den Container so erstellen bzw. immer mit Option "--gpus all" erstellen:

docker run -d \

  --gpus all \

  -e OLLAMA_NUM_GPU=99 \

  -v ollama:/root/.ollama \

  -p 11434:11434 \

  --name ollama-nvidia \

  ollama/ollama 

 

Die Sache funktioniert jetzt, aber die dGPU zieht vielleicht auch im Leerlauf konstant Strom, weil diese nicht in den Ruhezustand kommt:

• Im Terminal „prime-select“ verwenden, um auf die AMD GPU zu wechseln:
  • sudo prime-select intel 
  • Ausloggen und neu einloggen

• Um die dGPU zu aktivieren

  • sudo prime-select on-demand
  • Ausloggen und neu einloggen

 

Auf keinen Fall im SysFS den Zugriff auf das PCIe der dGPU unterbrechen! Das friert das komplette System ein!

 

Tipps zum Strom sparen:

 

Damit setzt man im Terminal die maximale Leistung des Chips auf 80 Watt (40-50 Watt wird ausreichend sein):

• sudo nvidia-smi -pl 80

 

Damit setzt man den maximalen Takt auf 1200 (ist dem Leistungstuning vorzuziehen; probieren für den optimalen Wert, vielleicht wäre es 800):

• sudo nvidia-smi -lgc 0,1200 

 

Die Einstellungen gehen nach einem Neustart verloren! Vielleicht als Systemdienst realisieren oder Startskript im Autostart des Desktops.

 

Beispiel für einen Systemdienst:

 

Eleganter Weg über eine systemd-Service-Unit:

 

sudo nano /etc/systemd/system/nvidia-power-limit.service

Füge dies ein:

 

[Unit]

Description=Set NVIDIA Power Limit

After=nvidia-persistenced.service

 

[Service]

Type=oneshot

ExecStart=/usr/bin/nvidia-smi -lgc 0,800

 

[Install]

WantedBy=multi-user.target

 

 

Aktivieren: sudo systemctl enable --now nvidia-power-limit.service

 

ABER: Wenn ihr die GPU für Spiele nutzen wollt oder andere umfangreiche Grafikanwendungen, dann daran denken, dass die maximale Leistung wieder auf den Standardwert gesetzt wird!

• sudo nvidia-smi -rgc

 

#####xcomweb.de, Mai.2026