HBM은 High-Bandwidth Memory의 약자입니다. 이는 대량의 데이터를 프로세서와 빠르게 주고받을 수 있도록 프로세서에 가깝게 배치된 적층 DRAM 형태입니다. AI 칩은 컴퓨팅 장치를 바쁘게 유지하기 위해 이러한 데이터 공급이 필요합니다.
프로세서는 계산을 수행하고, 메모리는 계산에 필요한 데이터를 제공합니다. 프로세서가 정보를 기다리는 데 시간을 보낸다면 더 높은 컴퓨팅 성능은 거의 이점이 없습니다. 이것이 바로 메모리 회사들이 AI 산업 뉴스에서 GPU 설계자들과 함께 등장하는 이유입니다.
HBM이란 무엇인가요?
High-Bandwidth Memory는 데이터 처리량을 높이도록 설계된 메모리를 의미하며, 이는 주어진 시간 동안 전송할 수 있는 정보의 양을 나타냅니다. "대역폭(bandwidth)"이라는 단어는 장치가 영구적으로 저장하는 파일 수량이 아니라 데이터 공급의 폭을 의미합니다.
Micron은 HBM을 AI 및 고성능 컴퓨팅을 위한 적층 DRAM으로 설명합니다. 제조업체는 모든 메모리 다이를 나란히 배치하는 대신, 여러 층으로 쌓아 스택을 통해 연결합니다.
단층집을 나란히 늘어놓는 대신 아파트 건물을 상상해 보세요. 적층은 공간을 다르게 사용하며, 수많은 병렬 연결을 통해 데이터가 넓은 인터페이스를 통해 이동할 수 있습니다. 물리적 연결은 매우 작지만, 이를 통해 이동하는 데이터의 양은 많습니다.
용량과 대역폭은 다른 것을 측정합니다:
| 측정 항목 | 답변하는 질문 |
|---|---|
| 용량 (일반적으로 GB) | 메모리가 한 번에 얼마나 많은 데이터를 저장할 수 있나요? |
| 대역폭 (일반적으로 GB/s 또는 TB/s) | 초당 얼마나 많은 데이터를 이동시킬 수 있나요? |
용량을 늘리는 것은 더 큰 물탱크를 갖는 것과 같습니다. 대역폭을 늘리는 것은 더 넓은 파이프를 갖는 것과 같습니다. 시스템은 수행하는 작업에 따라 둘 중 하나가 더 많이 필요할 수 있습니다.
HBM은 무엇에 사용되나요?
HBM은 AI 및 기타 고성능 워크로드에 사용되는 까다로운 프로세서에 데이터를 공급합니다. AI 모델을 훈련하고 해당 모델을 실행하는 데는 대량의 정보가 반복적으로 이동해야 합니다.
훈련 중에는 시스템이 반복적으로 예제를 처리하고 모델을 업데이트합니다. 추론(이미 훈련된 모델을 사용하는 것) 중에는 시스템이 모델 데이터를 읽어 답변을 생성합니다. 정확한 병목 현상은 워크로드에 따라 다르지만, 메모리 공급이 프로세서가 완료하는 유용한 작업의 양을 제한할 수 있습니다.
Lam Research의 HBM 설명은 HBM을 GPU에 필요한 데이터를 공급하는 방법으로 설명합니다. 바쁜 식당에서 추가 요리사들은 재료가 충분히 빨리 도착해야만 더 많은 음식을 준비할 수 있습니다.
이것이 또한 AI 투자가 프로세서를 설계하는 회사 이상으로 이익을 얻을 수 있는 이유를 설명합니다. 메모리 공급업체, 패키징 제공업체 및 장비 제조업체는 완성된 시스템의 다른 부분을 제공합니다.
비즈니스 예로, SK 하이닉스의 실적 발표는 AI 메모리 주문을 매출 및 이익과 연결합니다. 주문 증가는 수익을 증가시킬 수 있으며, 생산 비용은 해당 수익 중 얼마가 이익이 되는지를 결정합니다.
HBM이 DDR보다 빠른가요?
HBM은 일반적으로 기존 DDR 메모리 모듈보다 훨씬 높은 총 대역폭을 제공하지만, "더 빠르다"는 것은 구체적인 의미가 필요합니다. 대역폭, 응답 시간, 용량, 비용 및 교체 용이성은 서로 다른 특성입니다.
| 기능 | HBM | 일반적인 DDR 시스템 메모리 |
|---|---|---|
| 일반적인 역할 | 고성능 가속기에 데이터 공급 | 일반 컴퓨터 및 서버 워크로드 지원 |
| 배치 | 프로세서에 가깝게 패키징됨 | 종종 별도의 메모리 모듈에 장착됨 |
| 데이터 연결 | 매우 넓고 병렬적인 인터페이스 | 다른 인터페이스 및 시스템 레이아웃 |
| 사용자 업그레이드 | 가속기 패키지의 일부 | 시스템이 지원하는 경우 종종 교체 가능 |
Rambus의 HBM 개요는 적층 및 넓은 연결이 어떻게 높은 처리량을 지원하는지 설명합니다. HBM은 방대한 양의 데이터를 이동하는 워크로드에 적합하며, DDR은 많은 컴퓨터에 대해 용량, 비용 및 교체 가능한 모듈의 실용적인 조합을 제공합니다.
배달 비유가 도움이 됩니다. 개별 차량이 더 빨리 이동하지 않더라도 여러 개의 병렬 적재 레인은 분당 더 많은 상품을 이동시킬 수 있습니다. HBM의 장점은 유사하게 대량의 데이터를 이동시키는 것과 관련이 있습니다.
HBM은 가속기 패키지에 통합되어 제공됩니다. 이를 업그레이드하려면 일반적으로 가속기를 변경해야 하지만, 지원되는 DDR 모듈은 많은 데스크톱 및 서버 시스템에서 개별적으로 교체할 수 있습니다.
HBM은 기본적으로 DRAM인가요?
예. HBM은 적층 메모리 칩으로 만들어진 DRAM의 한 유형입니다. DDR도 DRAM을 사용하지만, 레이아웃과 프로세서 연결 방식이 다릅니다.
DRAM은 작업 메모리입니다. 컴퓨터가 실행되는 동안 필요한 정보를 임시로 저장합니다. SSD와 같은 저장 장치는 전원이 꺼져도 파일을 유지하여 다른 목적을 수행합니다. HBM은 전원이 꺼지면 내용이 사라지지만, SSD는 저장된 파일을 유지합니다.
DRAM을 더 넓은 범주로 생각하면, HBM과 DDR 기반 제품은 해당 범주 내에서 다른 작업을 수행하도록 설계되었습니다. 둘 다 임시 메모리 셀을 사용하지만, 물리적 레이아웃과 연결은 다른 워크로드에 적합합니다.
회사는 다른 고객에게 다양한 종류의 메모리를 다른 가격으로 판매할 수 있습니다. 삼성의 실적 발표는 메모리 판매가 휴대폰, 디스플레이 및 기타 제품을 판매하는 그룹에 어떻게 기여하는지 보여줍니다.
Tapbit에서 AI 칩 관련 시장을 탐색하는 방법
NVDA-USDT는 별도의 AI 칩 관련 계약이며, HBM 하드웨어 또는 메모리 제조업체 주식에 대한 소유권을 제공하지 않습니다.
- Tapbit에 등록하거나 로그인하고 USDT를 준비하세요.
- NVDA-USDT 선물을 열고 계약, 증거금 모드 및 레버리지를 검토하세요.
- 방향, 주문 유형, 수량 및 이익 실현/손절매 설정을 선택하세요.
- 수수료, 증거금 및 청산 가격을 확인하고, 포지션을 확인 및 모니터링한 후 종료하세요.
FAQ
누가 HBM을 만드나요?
주요 공급업체로는 SK 하이닉스, 삼성전자, 마이크론이 있습니다. 이들은 고성능 컴퓨팅 시스템에 사용되는 메모리를 공급합니다.
AMD는 여전히 HBM을 사용하나요?
예. AMD의 Instinct MI355X 제품 사양에는 HBM3E가 나열되어 있습니다. HBM은 데이터 센터 가속기에 사용되며, 많은 소비자용 그래픽 카드는 GDDR 메모리를 사용합니다.
