Viel Speicher ist noch keine schnelle KI
← Vorheriges Kapitel · Inhaltsverzeichnis · Nächstes Kapitel →
Kapitel 91 von 158
den eigenen Betrieb | KI-WISSEN MITTEL
Die große Station als obere Größenordnung
ASUS ExpertCenter Pro ET900N G3 / DGX Station: rund 100.060 € netto in der bereitgestellten Kalkulation; geprüfter Preisvergleich rechnerisch rund 101.250 € netto. Bis zu 748 GB kohärenter Gesamtspeicher bestehen aus bis zu 252 GB GPU-HBM3e und 496 GB CPU-LPDDR5X. Das ist kein einheitlich gleich schneller GPU-Speicher.
Die Planungsgröße 500 – 700B bei Q4 ist eine grobe Schätzung ohne Benchmark. NVIDIA nennt bis zu eine Billion Parameter und 20 PFLOPS bei FP4 als Hersteller-Maximalwerte. Sie garantieren weder eine bestimmte Antwortgeschwindigkeit noch dieselbe Leistung für jedes Modell. Für ein KMU ist das eine Spezialinvestition mit begründetem Lastprofil, kein normaler Einstieg. Lieferbarkeit, Service und Erweiterungen mit dem Anbieter klären.
B und Q4 einfach erklärt
B steht für Milliarden Modellparameter: 70B bedeutet etwa 70 Milliarden gelernte Zahlenwerte. Q4 beschreibt eine Speicherung mit ungefähr vier Bit pro Gewicht. Das spart Speicher, kann aber Genauigkeit kosten. Als reine Überschlagsrechnung brauchen 70 Milliarden Gewichte bei vier Bit rund 35 GB; zusätzliche Verwaltungsdaten und der laufende Betrieb benötigen mehr.
Der Schreibtischvergleich
Das Modell ist ein großer Aktenbestand. Der Speicher ist die Tischfläche. Ein langer Gesprächsverlauf und mehrere gleichzeitige Nutzer brauchen weitere freie Fläche. Speicherbandbreite und Rechenleistung bestimmen mit, wie schnell die Akten bearbeitet werden. Passt alles gerade so auf den Tisch, ist damit noch kein flüssiger Arbeitsablauf garantiert.
Der KV-Cache speichert Zwischenergebnisse des bisherigen Kontexts. Längere Texte und mehrere Anfragen erhöhen seinen Bedarf. Unified Memory teilen sich CPU, Grafik und Betriebssystem. Bei MoE-Modellen arbeitet pro Schritt nur ein Teil der Parameter; Modellgröße allein erlaubt deshalb keinen fairen Geschwindigkeitsvergleich.
Vor dem Kauf praktisch testen
Drei bis fünf echte, freigegebene Aufgaben ausprobieren: Antwortqualität, Wartezeit, gewünschte Kontextlänge und gleichzeitige Nutzer messen. Dann die Gesamtkosten über drei Jahre mit der Cloud vergleichen. Ein lokales System kann Datenwege verkürzen; Datenschutz braucht trotzdem Rechte, Updates, sichere Speicherung und kontrollierte Verbindungen.
DGX Station Daten | ASUS Preisvergleich | DGX Spark Daten | EVO-X2 Speicher
Quellen und Links
- docs.nvidia.com – Intro.html
- geizhals.at – asus-expertcenter-pro-et900n-g3-dgx-station-90ws00b2-m00020-a3935490.html
- docs.nvidia.com – hardware.html
- www.gmktec.com – drivers-and-software
← Vorheriges Kapitel · Inhaltsverzeichnis · Nächstes Kapitel →