Wie viel Grafikspeicher braucht mein Sprachmodell?
Ein Rechner für alle, die KI auf eigener Hardware betreiben wollen. Zum Spaß in 59 Designs.
Wer ein Sprachmodell im eigenen Haus betreiben will, stellt zuerst immer dieselbe Frage. Welche Hardware brauche ich dafür?
Für genau diese Frage habe ich einen Rechner gebaut. Man wählt Modell und Anwendungsfall und sieht, wie viel Grafikspeicher nötig ist, wie schnell die Antworten kommen und was der Betrieb kostet. Zum Spaß gibt es ihn inzwischen in 59 verschiedenen Designs.
Fazit
59 Designs waren eindeutig zu viel. Die Frage dahinter war es nicht, sie kommt bis heute ständig.
Ausblick
Abgelöst hat ihn im Oktober 2026 der GPU-Rechner, schlanker und mit Werten aus eigenen Messungen.