Harte Ware: Der Preis für lokale KI
Vor rund zwei Monaten erschien hier der Beitrag zum Thema „Selbst-Hosten von Sprachmodellen / KI“. Diesen werde ich nun mit diesem Folgebeitrag mit einigen Erfahrungen anreichern und erweitern.
Das Setup in dem ursprünglichen Beitrag bestand aus einer Intel i9-14900F CPU, 64 GB DDR5 RAM, 5x NVMe SSDs und – ganz entscheidend – einer älteren GeForce RTX 3060 Ti mit 8 GB VRAM.
Diese 8 GB VRAM waren von vorneherein als Flaschenhals klar. In der Praxis bedeutet dies: Selbst kleine Sprachmodelle wie das Llama 3.1 mit 8B (8 Milliarden Parametern) passen zwar komplett in den VRAM – aber eben nur das Modell selbst. Mit ein wenig Restplatz zum Arbeiten, also dem Abarbeiten der Benutzereingaben, ist der VRAM schnell voll. Dann muss mittels Offloading auf den DDR5-RAM ausgelagert werden.
Die Annahme, dass dies in einer erträglichen Geschwindigkeit vonstattengeht, war etwas blauäugig und setzte viel Zeit und Geduld voraus. Jedenfalls für die Nacharbeit an langen Artikeln wie bei keinzugriff.de. Mit durchschnittlich 2.400 Wörtern pro Beitrag war hier kein sinnvolles Bearbeiten der kompletten Texte mehr möglich; allenfalls in Blöcke unterteilt – auch das geht natürlich.
Ebenfalls stellte die Verarbeitung von Produkt-Texten kein Problem dar. Hier kommen nur bis zu 300 Wörter zum Tragen – und dies vor allem in der immer gleichen Art und Weise für die immer gleiche Zielgruppe. Das sind Vereinfachungen, die man in der Vielfalt von Blogartikeln eben so nicht findet: Manch Artikel fasst 3.400 Wörter – und von einem Durchschnitt kann man eben nicht ausgehen. Der komplette Beitrag muss in den VRAM passen, um sinnvoll verarbeitet werden zu können.
Hinweis: Es dreht sich hier um LLMs (Large Language Models), nicht um KI-Agenten.
Ein kurzer Exkurs in die LLM-Technik
Die Parameter-Falle
Mit der Anzahl der Parameter steigt die „Intelligenz“ des jeweiligen Sprachmodells. Dies wirkt sich darauf aus, wie ganzheitlich ein Text betrachtet werden kann, ob Logikbrüche gefunden werden oder – ganz schlicht – ob das Modell am Ende des Textes noch weiß, was am Anfang stand. Ebenfalls sind Halluzinationen bei kleineren Modellen häufiger, die Sprache ist weniger komplex und technische Erläuterungen können übelst fehlerhaft werden.
Für Produkt-Texte oder einzelne Abschnitte eines Blogs sind diese Einschränkungen kein Problem. Um es auf einfache Mathematik herunterzubrechen: Pro Parameter werden im VRAM ca. 0,7 Bytes benötigt. Alles, was darüber hinausgeht, landet mittels Offloading im RAM und bremst die Maschine derartig aus, dass man bei der Analyse eines Textes auch gemütlich Einkaufen gehen könnte.
Was mit einem quantisierten Q4-Modell von Llama 8B (belegt etwa 4,9 GB VRAM) noch mit 30–40 Tokens/Sekunde für kleinere Texte gut funktioniert hat, rutschte bei einem Offloading ins RAM auf keine 2 Tokens/Sekunde mehr ab. (Quantisierung: siehe Abschnitt unten)
Hier rufen wir uns einmal ins Gedächtnis, was das bedeutet: Ein Token entspricht etwa 0,7 Wörtern. Spielen diese nur aus dem VRAM mit 20–30 Tokens/Sek, so kommst du auf 14–21 Wörter/Sekunde – so schnell liest das Auge nur selten. Bei 2 Tokens kommst du bei < 1,4 Wörtern/Sekunde an. Das sind dann bei einem Text von 2.500 Wörtern rund 30 Minuten, eher noch eine Ecke mehr – je nachdem, wie komplex der Wortschatz ist und die Aufgabenstellung an das Modell. So kann ein Text auch mit 90 Minuten Bearbeitungszeit (= Lektorat) aufschlagen, was dann unerträglich langsam ist. Und bei einem 8B-Modell hauen einen die Ergebnisse nun auch nicht unbedingt vom Hocker.
Stell es dir einmal so vor: Du möchtest ein 8-Gänge-Menü kochen. Das Rezept liegt in deiner Küche, sämtliche Geräte wie Mixer, Messbecher, Messer etc. liegen ebenfalls bereit. Nur passen von den benötigten Zutaten nur rund ein Viertel in deine Küche, und die Bude ist voll bis oben hin. Dein Sohn hilft dir beim Kochen – und bringt die Zutaten, die nicht mehr benötigt werden, zurück in den Keller, und im Austausch eine andere Zutat mit in die Küche, die du dann verarbeitest. Das Ganze macht dein Sohn alleine und mehrere 1.000-mal. Es dauert eine Ewigkeit, bis endlich was auf dem Tisch steht. Kochst du aber nur einen Pott voll Ravioli aus der Dose, dann passen alle Zutaten in die Küche und du hast diese schnell im Topf zusammengerührt. Ist dann natürlich alles andere als ein kulinarisches Highlight, aber es macht auf die Schnelle satt. VRAM = Küche, RAM (Offloading) = Keller.
Cloud vs. Local: Der Größenvergleich
Online zur Recherche arbeite ich mit einer KI, die auf Qwen3.5-122B basiert – also 122 Milliarden Parameter hat. Klingt gewaltig? Nun, Grok (von X) und Gemini (Google) werden auf über 100 Milliarden geschätzt, also etwa vergleichbar. Vorne weg reitet allerdings ChatGPT in der aktuellen Schätzung bei ca. 200 Milliarden (GPT-4o) und GPT-4 soll bei 1,8 Billionen liegen. Schätzungen, weil bei diesen Modellen weder Code noch Zahlen zur Leistungsbeurteilung öffentlich vorliegen. Daher setze ich hier auf offen liegende Modelle.
Neben den reinen Parametern kommt hier allerdings auch der Architektur-Ansatz zum Tragen, wie schnell und genau die Modelle wirklich sind. Soll in diesem Zusammenhang aber auch lediglich einen Vergleich dazu erlauben, wie viele Parameter die Cloud-KIs vs. lokal hostbare Modelle mitbringen.
Und diese Cloud-KIs sind so auch gar nicht unfehlbar. So bat ich einmal um gewisse Parameter zu der 3060 Ti, wie genaue Anzahl Kerne und Speichertakt – und mir wurde dann eine Radeon RX 3060 Ti präsentiert inkl. der Bezeichnung der AMD-Kerne. Auf Nachfrage, was das sein soll, wurde das Sprachmodell denn auch noch schnippisch und meinte, nun hätte es mich erwischt und diese Karte sei doch schließlich die AMD-Antwort auf ein Modell von Nvidia von 2021. Nein, ist sie nicht. Die gibt es schlichtweg nicht, meine Herren. KI als Einkaufsberater? Da ist noch Luft nach oben…
Quantastisch?
Quantisierung zu erklären wäre jetzt arg mathematisch, und ich müsste dafür auch eine Quelle zitieren, um kein Halbwissen hier zu veröffentlichen. Wer dem genau auf den Grund gehen möchte, der möge bitte selbst im Netz danach suchen.
Faustregel: Je höher die Quantisierung, desto besser das Ergebnis.
- Ein Q4-Modell ist für die meisten Nutzer ausreichend.
- Ein Q5 bringt bessere Qualität mit sich.
- Q6-Modelle können (Vibe-)Coding oder Mathe-Aufgaben recht zuverlässig übernehmen.
- Je höher die Quantisierung, desto mehr VRAM wird benötigt.
Ein Q4-Modell passt auf die meisten Consumer-Grafikkarten noch drauf mit 8 GB VRAM, nur wird der Kontext dann mit der Länge Tiefer tauchen mit KI – Teil 1langsamer. Die maximale Länge davon bleibt aber unberührt. Q5-Modelle sind ab 16 GB VRAM sinnvoll, auch Q6 passt hier noch rein. Ab Q8 sind 24 GB VRAM sinnvoll – hier wird es denn wirklich so richtig ins Geld gehen, aber die Qualität ist eben auch ganz oben.
Daher sind die Parameter eines Modells immer in Abhängigkeit zur Quantisierung zu sehen; und nicht alle Modelle haben sämtliche Quantisierungen verfügbar. Ein wenig Recherche sollte dem also vorausgehen in deinem Kontext.
Zurück zum Problem: Das Upgrade
Ich hoffe, du bist noch da nach dem Exkurs oben? Die 8 GB VRAM der GeForce 3060 Ti sind für größere Sprachmodelle und/oder lange Texte also nicht mal mehr ein Flaschenhals; diese Karte ist für derlei Zweck einfach zu klein dimensioniert. Ein anderer musste her. Nach langer Recherche fiel die Wahl auf eine GeForce RTX 3080 Ti iCHILL X3 mit 12 GB VRAM. Diese hat das beste Preis-Leistungs-Verhältnis auf dem Gebrauchtmarkt und war für rund 400 € zu haben.
Die Vorteile
Zwar auch eine ältere Karte aus der 30xx-Generation, aber mit klaren Unterschieden:
- Aus 4.864 Cuda Cores (3060 Ti) werden 10.240 (3080 Ti).
- Der Speicherbus wächst von 256 auf 384 Bit.
- Die Anzahl der Tensor-Core-Blöcke wächst von 304 auf 544.
Tensor-Blöcke sind eine technische Struktur, die parallel arbeiten – was eben die Arbeitsweise eines LLM ist. Je mehr Tensor-Blöcke, desto mehr kann parallel berechnet werden.
Die Nachteile: Ein Berg an Problemen
Dieses Upgrade gab es allerdings nicht ohne Einbußen:
- Der Stromverbrauch der GPU verdoppelt sich fast bei Vollast.
- Die Karte belegt 3 Slots statt nur 2.
- Die benötigte Frischluft steigt von ca. 12–15 m³/min auf bis zu 22 m³/min.
Der Raum hier hat rund 28 m³, wenn dieser leer wäre. Also bei der Bestückung hier vor Ort bleiben keine 22 m³ mehr über. Das bedeutet: Die komplette Luft dieses Raumes muss innerhalb von einer Minute durch das Servergehäuse gepresst werden.
Dort thront nun eine GPU mit rund 32 cm Länge (statt vorher 28 cm), was die Anordnung des Schlauches für die Wasserkühlung der CPU dann unbrauchbar machte. Auch passt der Lulatsch nicht mehr in jedes Gehäuse. Frei schwebend in einem hochkant montierten Mainboard wie in MID-Towers muss hier zusätzlich abgestützt werden; diese Karten reißen dir sonst den Slot aus dem Board raus, wenn es blöde läuft.
- Wiegt die 3080 nun 2 kg – die 3060 nur die Hälfte.
- Eventuell wird ein neues (80+ Gold empfohlen) Netzteil nötig, mit einer entsprechenden Leistungsreserve. Bei 1.000 W sollte dies schon gerne liegen dann.
- Der Lärmpegel steigt leicht; zwar sind hier drei statt zwei Lüfter verbaut, allerdings sind diese auch größer und drehen daher etwas langsamer.
- Die 3080 benötigt 2x 8-Pin-Stromversorgung vom Netzteil und nicht weniger: Keine Y-Stecker hier verwenden oder diese Daisy-Kabel, wo 2x 8-Pin auf den gleichen Anschluss am Netzteil hängen – das wird nichts. Pro Anschluss ein Anschluss am Netzteil: Die Karte zieht bis zu 350 W unter Vollast. Jedes Kabel stellt 150 W bereit und der PCIe x16-Slot weitere 75 W.
Allerdings wird’s noch lauter insgesamt: Die an der Rückseite des 19″-Server-Gehäuses montierten Lüfter sind selbst bei 1.500 U/min viel zu schwach auf der Brust, um die Menge Luft aus dem Gehäuse raus zu schaffen. Diese mussten Hochleistungs-Lüftern weichen, die einen entsprechend hohen statischen (Luft-)Druck erzeugen können. Mit dann bis zu 5.500 U/min ist dies zwar gewährleistet bei dem überarbeiteten Setup, nur werden diese 80-mm-Lüfter dann auch wirklich laut.
Nun sitzt an der Front des Gehäuses bereits ein Radiator mit 360 mm Länge, um die CPU-Hitze per Wasserkühlung aus dem Gehäuse zu schaffen – ein Durchstrom von vorne nach hinten ist somit nicht mehr möglich. Das Gehäuse ist jedoch an Vorder- und Rückseite so gut wie vollständig gelocht für ein maximales Nachströmen von Luft. In diesem Setup arbeitet die Kühlung dann eben nicht mehr per Durchstrom, sondern erzeugt einen Unterdruck im Gehäuse, und die kühlere Luft strömt dann durch sämtliche Lochungen und Spalten/Ritzen des Gehäuses nach.
Um die Hitze auch zuverlässig aus dem Raum zu bekommen, ist der hintere Teil des Gehäuses mit einem Adapter aus dem 3D-Drucker verblendet worden – dieser leitet die Warmluft mit einem Schlauch für Wäschetrockner denn direkt aus dem auf Kipp stehenden Fenster ab. Das musste sein, um nicht die ausgestoßene Warmluft direkt wieder anzusaugen.
Über Sinn & Unsinn
Nun ist die Liste der Nachteile rund 10-mal so lang geraten wie der kurze Absatz der Vorteile. Diese Gegenüberstellung zeigt aber auch, wo die moderne KI-Anwendung hin geraten ist und was diese für einen Berg an Problemen mit sich bringt. Hardware, Verbrauch, Abwärme, Lärm – stell dir das nun in ganz anderen Dimensionen vor, in ganzen KI-Rechenzentren.
Für dich als Selbst-Hoster bedeutet dies erst einmal einen immensen Aufwand an Ressourcen. Bei nüchterner Betrachtung ist die Frage des „Warum“ mehr als erlaubt und wirft eben ein paar Fragen auf:
- Bist du überhaupt gewillt, diese Investition zu tätigen, auch die laufenden Kosten zu tragen?
- Hast du einen geeigneten Standort für den Lärmpegel dieses Gerätes, wie den Keller z. B.?
- Kannst du die Luftzirkulation in diesem Raum sicherstellen?
Dazu kommt, dass die selbstbetriebene KI eben nicht auf deinem Proxmox-Server laufen wird – sondern auf einer dedizierten Maschine. Zu unterschiedlich ist die Hardware dieser beiden Einsatzzwecke, z. B. Xeon-CPU mit Registered ECC DDR4 vs. i9-14900 mit DDR5 – zu hoch der Verbrauch bei 24/7-Betrieb des KI-Rechners. Jetzt dämmert es langsam, was da auf einen zukommt.
Für mich war es dennoch sinnvoll, dies eben genau zu tun. Zwar arbeite ich wie gesagt online mit einem Modell, welches auf Qwen3.5-122B basiert: Der Leo-KI, die im Brave-Browser eingebaut ist. In Sachen Datenschutz und -Hoheit aber immer noch weit weg von dem, was ich mir vorstelle: Derlei Modelle können nur über Clouds in entsprechenden Rechenzentren betrieben werden. Auch soll natürlich die Erzeugung und Bearbeitung von Bildern mit KI lieber im LAN betrieben werden.
Ein zweiter Rechner als Arbeitsstation
Ein zweiter Rechner ist hier ohnehin nötig, da der eigentliche Proxmox-Server natürlich headless läuft und lediglich einen ganzen Satz Dienste im LAN bereitstellt, per NFS oder Docker z. B.
So kam dann die Überlegung ins Spiel, den bisher genutzten gegen diese als Haupt-Arbeitsrechner auszutauschen. Da neben KI-Anwendungen auch CAD-Berechnungen sowie Slice-Vorgänge als Vorstufe des 3D-Drucks zu bewältigen sind, ist der alltägliche Einsatz ohnehin sehr rechenintensiv.
Da die Dauerlast von 100 % auf der GPU nur dann erreicht wird, wenn ein KI-Modell arbeitet, fällt dies nicht permanent an; die Karte geht dann in einen Ruhezustand. Auch wird bei Berechnungen im CAD-/3D-Umfeld eher die CPU beansprucht als die GPU. Weiterhin besteht die i9-CPU aus P-Cores und E-Cores gemischt; diese werden teils abgeschaltet bei Nichtnutzung (entsprechende Konfiguration vorausgesetzt natürlich).
So kommt unter dem Strich natürlich ein höherer Verbrauch zustande – allerdings nicht der hohe Verbrauch des KI-Betriebes als Dauerzustand. Und hat den Lärmpegel auch dann nicht dauerhaft. Verbannst du diesen Kollegen allerdings ebenfalls in den Keller zum Proxmox-Server, dann kommst du natürlich um einen dritten Rechner als Arbeitsstation nicht mehr herum. Das ist denn vermutlich auch der Grund, warum manch Homelab-Serverschrank umfangreicher bestückt ist als Serverschränke von kleinen Unternehmen mit 5–20 Mitarbeitern.
Die Kostenfalle: Ein realistischer Blick
Der Fokus bleibt selbstverständlich auf Selbst-Hosting, auch wenn die Hardware-Frage eine kostspielige ist. Hier eine Aufstellung mit tagesaktuellen Preisen von Mitte Mai 2026:
Tiefer tauchen mit KI – Teil 1
Ich komme so auf rund 3.400 €. Dabei muss aktuell die Krise am Markt rund um RAM und SSD-Laufwerke bedacht werden: Bei Anschaffung des allergrößten Teils (ohne GPU und Gehäuse) waren das jedenfalls keine 2.800,00 €, sondern deutlich weniger. Daher ist die Frage, ob das jetzt der richtige Zeitpunkt für die komplette Neuanschaffung dieser Hardware ist, eher zu verneinen.
Bei der gebrauchten GPU konnte ich dazu noch einen Rabatt von 10 % einsacken, der gerade allgemein in dem Shop galt. On Top war die Karte reduziert, da ein Mangel vorhanden war: Die LED-Elemente der Lüfter waren nicht mehr vorhanden; diese sind hier aber auch sinnlos in einem 19″-Gehäuse. Ohne Rabatt und komplett wäre hier also der Preis nochmal 25 % nach oben anzusetzen aktuell.
Fazit: Der Preis für Souveränität
Für einen ernsthaften lokalen Betrieb von Sprachmodellen sind erst einmal mehrere Tausend Euro für den Hardware-Unterbau nötig. Zwar kannst du dies auch mit erheblich geringeren Investitionen zum Laufen bekommen – wie einem i7 mit DDR4-RAM und einer GPU mit 8 GB VRAM – dies liegt aber schon fast im Bereich eines ambitionierten Forschungsprojektes. Für kurze Texte und für einfache KI-Überarbeitungen ist dies völlig ausreichend. Für längere Texte und komplexere Aufgabenstellungen wäre diese Hardware aber unterdimensioniert. Wenn du jedoch für ein HomeLab erst einmal „kleiner“ loslegen möchtest, die Funktionsweise verstehen möchtest oder dein Workflow nicht mehr Hardware benötigt: Perfekt mit älterer Hardware machbar.
Da mein Workflow allerdings etwas hungriger ist und die Hardware ohnehin vorhanden war (mit Ausnahme der GPU), war die Investition überschaubar.
Und dieser Text hat nun die 2.600 Wörter geknackt – eine Obergrenze, die ich mir selbst gesetzt habe, damit dieser noch im LLM vernünftig verarbeitet werden kann.
Daher geht es in Teil 2 mit der Software hierzu weiter.
