HBM steht für High-Bandwidth Memory. Es ist eine Form von gestapeltem DRAM, die nahe an einem Prozessor platziert wird, damit große Datenmengen schnell zwischen ihnen übertragen werden können. KI-Chips benötigen diese Datenversorgung, um ihre Recheneinheiten beschäftigt zu halten.
Ein Prozessor führt Berechnungen durch; der Speicher liefert die Daten dafür. Mehr Rechenleistung bringt wenig Nutzen, wenn der Prozessor seine Zeit mit Warten auf Informationen verbringt. Deshalb erscheinen Speicherhersteller neben GPU-Entwicklern in Nachrichten über die KI-Industrie.
Was bedeutet HBM?
High-Bandwidth Memory beschreibt Speicher, der für einen hohen Datendurchsatz entwickelt wurde, d. h. wie viele Informationen er in einer bestimmten Zeit übertragen kann. Das Wort „Bandbreite“ bezieht sich auf die Breite dieser Datenversorgung, nicht darauf, wie viele Dateien ein Gerät dauerhaft speichert.
Micron beschreibt HBM als gestapelten DRAM für KI und Hochleistungsrechnen. Anstatt alle Speicherchips nebeneinander zu platzieren, bauen Hersteller Schichten und verbinden sie durch den Stapel.
Stellen Sie sich ein Mehrfamilienhaus statt einer Reihe von einstöckigen Häusern vor. Das Stapeln nutzt den Raum anders, während viele parallele Verbindungen den Datentransfer über eine breite Schnittstelle ermöglichen. Die physischen Verbindungen sind winzig, obwohl die durch sie bewegte Datenmenge groß ist.
Kapazität und Bandbreite messen unterschiedliche Dinge:
| Messung | Die Frage, die sie beantwortet |
|---|---|
| Kapazität, normalerweise GB | Wie viele Daten kann der Speicher auf einmal speichern? |
| Bandbreite, normalerweise GB/s oder TB/s | Wie viele Daten können pro Sekunde übertragen werden? |
Die Erhöhung der Kapazität ist wie ein größerer Wassertank. Die Erhöhung der Bandbreite ist wie eine breitere Leitung. Ein System kann mehr von beidem benötigen, abhängig von der durchgeführten Arbeit.
Wofür wird HBM verwendet?
HBM versorgt anspruchsvolle Prozessoren, die in KI und anderen Hochleistungs-Workloads verwendet werden, mit Daten. Das Training eines KI-Modells und die Ausführung dieses Modells erfordern wiederholte Übertragungen großer Datenmengen.
Während des Trainings verarbeitet das System wiederholt Beispiele und aktualisiert das Modell. Während der Inferenz, d. h. der Verwendung eines bereits trainierten Modells, liest das System Modelldaten, um eine Antwort zu erzeugen. Der genaue Engpass hängt von der Arbeitslast ab, aber die Speicherlieferung kann einschränken, wie viel nützliche Arbeit ein Prozessor leistet.
Lam Researchs Erklärung zu HBM beschreibt HBM als eine Möglichkeit, GPUs mit den benötigten Daten zu versorgen. In einem belebten Restaurant können zusätzliche Köche mehr Mahlzeiten zubereiten, nur wenn die Zutaten schnell genug bei ihnen ankommen.
Das erklärt auch, warum KI-Investitionen mehr als nur dem Unternehmen zugutekommen können, das einen Prozessor entwirft. Speicherlieferanten, Verpackungsanbieter und Ausrüstungshersteller tragen verschiedene Teile des fertigen Systems bei.
Als Geschäftsbeispiel verbindet die Gewinnprognose von SK Hynix KI-Speicheraufträge mit Umsatz und Gewinn. Mehr Aufträge können den Umsatz steigern, während die Produktionskosten bestimmen, wie viel von diesem Umsatz Gewinn wird.
Ist HBM schneller als DDR?
HBM bietet im Allgemeinen eine wesentlich höhere Gesamtbandbreite als ein herkömmliches DDR-Speichermodul, aber „schneller“ benötigt eine spezifische Bedeutung. Bandbreite, Reaktionszeit, Kapazität, Kosten und Austauschbarkeit sind unterschiedliche Merkmale.
| Merkmal | HBM | Typischer DDR-Systemspeicher |
|---|---|---|
| Übliche Rolle | Versorgung von Hochleistungsbeschleunigern | Unterstützung allgemeiner Computer- und Server-Workloads |
| Platzierung | Nahe am Prozessor verpackt | Oft auf separaten Speichermodulen montiert |
| Datenverbindung | Sehr breite, hochparallele Schnittstelle | Andere Schnittstelle und Systemlayout |
| Benutzer-Upgrade | Teil des Beschleunigerpakets | Oft austauschbar, wo das System dies unterstützt |
Rambus' Übersicht über HBM erklärt, wie Stapelung und breite Verbindungen hohen Durchsatz unterstützen. HBM eignet sich für Workloads, die riesige Datenmengen bewegen, während DDR eine praktische Mischung aus Kapazität, Kosten und austauschbaren Modulen für viele Computer bietet.
Eine Lieferanalogie hilft. Mehrere parallele Ladebuchten können pro Minute mehr Waren bewegen als eine einzelne Spur, auch wenn ein einzelnes Fahrzeug nicht schneller fährt. Der Vorteil von HBM betrifft ähnlich die Übertragung einer großen Gesamtmenge an Daten.
HBM ist in das Beschleunigerpaket integriert. Ein Upgrade bedeutet normalerweise, den Beschleuniger zu wechseln, während unterstützte DDR-Module in vielen Desktop- und Serversystemen einzeln ausgetauscht werden können.
Ist HBM im Grunde DRAM?
Ja. HBM ist eine Art von DRAM, die aus gestapelten Speicherchips aufgebaut ist. DDR verwendet ebenfalls DRAM, jedoch mit einem anderen Layout und einer anderen Verbindung zum Prozessor.
DRAM ist der Arbeitsspeicher: Er speichert vorübergehend Informationen, die ein Computer während des Betriebs benötigt. Speicher wie eine SSD dient einem anderen Zweck, indem er Dateien speichert, wenn die Stromversorgung unterbrochen wird. HBM verliert seinen Inhalt, wenn die Stromversorgung unterbrochen wird; eine SSD behält gespeicherte Dateien.
Betrachten Sie DRAM als die breitere Familie, wobei HBM- und DDR-basierte Produkte für unterschiedliche Aufgaben innerhalb dieser Familie entwickelt wurden. Beide verwenden temporäre Speicherzellen, aber ihr physisches Layout und ihre Verbindungen eignen sich für unterschiedliche Workloads.
Ein Unternehmen kann verschiedene Arten von Speicher zu unterschiedlichen Preisen an verschiedene Kunden verkaufen. Samsungs Gewinnprognose zeigt, wie Speicherumsätze zu einer Gruppe beitragen, die auch Telefone, Displays und andere Produkte verkauft.
Wie man KI-Chip-bezogene Märkte auf Tapbit erkundet
NVDA-USDT ist ein separater Vertrag im Zusammenhang mit KI-Chips; er gewährt keine Eigentumsrechte an HBM-Hardware oder Aktien von Speicherherstellern.
- Registrieren oder melden Sie sich bei Tapbit an und bereiten Sie USDT vor.
- Öffnen Sie NVDA-USDT-Futures; überprüfen Sie den Vertrag, den Margin-Modus und den Hebel.
- Wählen Sie Richtung, Orderart, Menge und Take-Profit/Stop-Loss-Einstellungen.
- Überprüfen Sie Gebühren, Margin und Liquidationspreis, bestätigen Sie und überwachen Sie die Position bis zum Ausstieg.
FAQ
Wer stellt HBM her?
Zu den Hauptlieferanten gehören SK Hynix, Samsung Electronics und Micron. Sie liefern Speicher, der in Hochleistungsrechensystemen verwendet wird.
Verwendet AMD noch HBM?
Ja. Die Produktspezifikationen von AMD Instinct MI355X listen HBM3E auf. HBM wird für seine Rechenzentrumsbeschleuniger verwendet, während viele Consumer-Grafikkarten GDDR-Speicher verwenden.
