حافظه پهنای باند بالا، که معمولاً به اختصار HBM نامیده میشود، نوعی حافظه کامپیوتری است که برای انتقال مقادیر بسیار زیادی داده بین حافظه و پردازنده با سرعت بالا ساخته شده است. این حافظه بیشتر با شتابدهندههای هوش مصنوعی، محاسبات با کارایی بالا و سیستمهای گرافیکی پیشرفته مرتبط است.
سادهترین راه برای درک HBM این است که پردازنده را به عنوان یک کارخانه قدرتمند و دادهها را به عنوان مواد اولیه تصور کنید. یک کارخانه سریعتر اگر جادهای که مواد را به آن میرساند باریک باشد، مفید نیست. HBM جادهای بسیار عریضتر ایجاد میکند و به دادههای بیشتری اجازه میدهد تا همزمان به پردازنده برسند.
HBM یک GPU، یک ارز دیجیتال یا یک درایو ذخیرهسازی نیست. این یک شکل تخصصی از حافظه دسترسی تصادفی پویا، یا DRAM است که در داخل یک بسته پیشرفته، بسیار نزدیک به پردازنده قرار میگیرد.
حافظه پهنای باند بالا به چه معناست؟
«پهنای باند» توصیف میکند که چه مقدار داده میتواند در یک دوره زمانی از طریق یک اتصال منتقل شود. پهنای باند بالاتر به این معنی است که حافظه میتواند اطلاعات بیشتری را در ثانیه ارسال و دریافت کند.
حافظههای معمولی اغلب دورتر از پردازنده قرار میگیرند و از رابط باریکتری استفاده میکنند. این حافظهها همچنان میتوانند سریع باشند، اما ممکن است برای جابجایی همان مقدار داده به سرعت کلاک بالاتر و توان بیشتری نیاز داشته باشند. HBM رویکرد متفاوتی را اتخاذ میکند: لایههای حافظه پشتهای را نزدیک پردازنده قرار میدهد و آن را از طریق یک رابط بسیار عریض متصل میکند.
این طراحی به ویژه برای بارهای کاری که عملیات زیادی را به صورت موازی پردازش میکنند، مفید است. آموزش مدل هوش مصنوعی، شبیهسازی علمی و تجزیه و تحلیل داده در مقیاس بزرگ، همگی به دسترسی مکرر به مجموعه دادههای بزرگ نیاز دارند.
چرا تراشههای هوش مصنوعی به پهنای باند حافظه بیشتری نیاز دارند
شتابدهندههای هوش مصنوعی تعداد زیادی عملیات ریاضی را انجام میدهند. در طول آموزش، آنها به طور مکرر وزنهای مدل را بارگیری میکنند، ورودیها را پردازش میکنند و پارامترها را بهروز میکنند. در طول استنتاج، آنها باید دادههای مدل را بازیابی کرده و به سرعت پاسخ تولید کنند.
اگر پردازنده یک محاسبه را تمام کند و مجبور باشد منتظر بلوک بعدی دادهها بماند، بخشی از ظرفیت محاسباتی گرانقیمت آن تلف میشود. این اغلب گلوگاه حافظه نامیده میشود.
HBM به سه روش به کاهش این گلوگاه کمک میکند:
- دادههای بیشتری را از طریق یک رابط عریض در یک زمان منتقل میکند.
- از نظر فیزیکی نزدیک پردازنده قرار میگیرد.
- میتواند عملکرد قوی به ازای هر وات ارائه دهد، که در مراکز داده با محدودیت توان اهمیت دارد.
به همین دلیل است که HBM برای سهام تراشههای هوش مصنوعی مدرن اهمیت پیدا کرده است. عرضه حافظه، صلاحیت و قیمتگذاری میتواند بر تعداد سیستمهای هوش مصنوعی کاملی که میتوانند تحویل داده شوند، تأثیر بگذارد.
HBM چگونه کار میکند؟
HBM چندین فناوری را ترکیب میکند. ایده کلیدی، پشتهسازی عمودی است.
لایههای حافظه پشتهای
یک لایه حافظه، یک قطعه نازک سیلیکونی حاوی سلولهای حافظه است. به جای قرار دادن لایههای متعدد در کنار هم، HBM آنها را روی هم قرار میدهد. این امر یک ساختار فشرده با ظرفیت بالا در نزدیکی پردازنده ایجاد میکند.
لایهها باید فوقالعاده نازک و با دقت تراز شده باشند. اگر یک لایه دارای نقص جدی باشد، کل پشته ممکن است استاندارد عملکرد یا قابلیت اطمینان مورد نیاز را برآورده نکند.
اتصالات TSV (Through-Silicon Vias)
اتصالات TSV، یا Through-Silicon Vias، اتصالات الکتریکی عمودی بسیار کوچکی هستند که از میان لایههای حافظه عبور میکنند. آنها اجازه میدهند دادهها و برق از طریق پشته حرکت کنند.
تراشههای سنتی عمدتاً در یک سطح صاف ارتباط برقرار میکنند. TSV ها یک مسیر عمودی اضافه میکنند. این امر برخی از اتصالات را کوتاه میکند و به لایههای پشتهای اجازه میدهد تا به عنوان یک سیستم حافظه یکپارچه عمل کنند.
رابط حافظه عریض
HBM از اتصالات داده زیادی بین حافظه و پردازنده استفاده میکند. این رابط بسیار عریضتر از اتصالی است که حافظه سیستمی معمولی استفاده میکند. این منبع پهنای باند بالا است.
یک رابط عریض میتواند دادههای بیشتری را بدون اتکا صرفاً به سرعت کلاک بسیار بالا منتقل کند. این میتواند بهرهوری انرژی را بهبود بخشد، اگرچه بسته کامل پیچیده و گران باقی میماند.
HBM در کجا قرار میگیرد؟
HBM معمولاً در کنار یک GPU یا شتابدهنده هوش مصنوعی در همان بسته پیشرفته قرار میگیرد. یک واسط سیلیکونی یا ساختار اتصال پیشرفته دیگر، پشتههای حافظه را به پردازنده پیوند میدهد.
این با حافظه دسکتاپ معمولی متفاوت است. ماژولهای DDR معمولاً در اسلاتهای روی مادربرد نصب میشوند. HBM بسیار نزدیکتر با پردازنده ادغام شده است، بنابراین کاربران معمولاً نمیتوانند آن را به طور جداگانه حذف یا ارتقا دهند.
HBM در مقابل DDR در مقابل GDDR
| ویژگی | HBM | GDDR | DDR |
|---|---|---|---|
| کاربرد اصلی | شتابدهندههای هوش مصنوعی و محاسبات با کارایی بالا | کارتهای گرافیک و GPU های بازی | حافظه سیستمی عمومی برای CPU ها |
| طراحی فیزیکی | پشته عمودی نزدیک پردازنده | تراشههای جداگانه در اطراف GPU | ماژولهای متصل به مادربرد |
| رابط | بسیار عریض | باریکتر اما با سرعت بالا | طراحی شده برای سیستمهای عمومی |
| پهنای باند | بسیار بالا | بالا | کمتر از حافظه تخصصی GPU |
| بهرهوری انرژی | قوی برای جابجایی دادهها | بسته به نسل متفاوت است | بهینهسازی شده برای استفاده گسترده سیستم |
| هزینه و پیچیدگی | بالا | متوسط | به طور کلی پایینتر |
| قابلیت ارتقا | معمولاً در بسته ادغام شده است | معمولاً روی کارت گرافیک ثابت است | اغلب توسط کاربر قابل تعویض است |
HBM به طور خودکار برای هر کامپیوتری «بهتر» نیست. یک لپتاپ یا سرور معمولی ممکن است به پهنای باند یا هزینه آن نیاز نداشته باشد. DDR برای محاسبات عمومی کاربردی باقی میماند، در حالی که GDDR تعادلی را برای بسیاری از محصولات گرافیکی ارائه میدهد. HBM زمانی بیشترین ارزش را دارد که پهنای باند و بهرهوری انرژی بستهبندی پیشرفته را توجیه کنند.
نسلهای HBM توضیح داده شده
HBM از طریق چندین نسل از جمله HBM، HBM2، HBM2E، HBM3، HBM3E و HBM4 توسعه یافته است. هر نسل به طور کلی با هدف بهبود ترکیبی از پهنای باند، ظرفیت، بهرهوری انرژی، طراحی پشته و ادغام سیستم انجام میشود.
HBM3E در سیستمهای هوش مصنوعی با کارایی بالا استفاده میشود. HBM4 به سمت یک رابط عریضتر و منطق پایه پیچیدهتر حرکت میکند. این امر عملکرد بالقوه را افزایش میدهد اما ساخت و طراحی مشترک را نیز دشوارتر میکند.
HBM4E یک مرحله نقشه راه بعدی است که برای سیستمهای هوش مصنوعی آینده در نظر گرفته شده است. نام محصولات تولید انبوه فوری را تضمین نمیکنند. یک نسل جدید باید از مراحل مهندسی، نمونهبرداری، صلاحیت و تولید انبوه عبور کند.
مزایای حافظه پهنای باند بالا
توان عملیاتی داده بسیار بالا
HBM میتواند مقادیر زیادی داده را به پردازنده برساند و به بارهای کاری محاسباتی موازی کمک میکند تا کارآمدتر عمل کنند.
ردپای فیزیکی فشرده
پشتهسازی عمودی حافظه، فضای بستهبندی کمتری نسبت به قرار دادن تعداد مشابه تراشه در کنار هم اشغال میکند.
بهرهوری انرژی
انتقال دادهها از طریق اتصالات کوتاهتر و استفاده از رابط عریض میتواند انرژی مورد نیاز به ازای هر واحد داده را کاهش دهد. این مهم است زیرا برق و خنککننده محدودیتهای اصلی برای مراکز داده هوش مصنوعی هستند.
عملکرد در سطح سیستم
HBM میتواند عملکرد مفید یک شتابدهنده را افزایش دهد. پردازندهای با قدرت محاسباتی نظری بیشتر ممکن است نتایج واقعی بهتری ارائه ندهد اگر حافظه نتواند همگام شود.
محدودیتهای HBM
HBM همچنین دارای معایب مهمی است.
- هزینه بالا: حافظه پشتهای و بستهبندی پیشرفته گران هستند.
- پیچیدگی تولید: لایههای نازک، اتصالات TSV و اتصال نیازمند تولید دقیق هستند.
- خطر بازده: یک نقص میتواند ارزش کل پشته را کاهش دهد.
- چالشهای حرارتی: اجزای فشرده گرما تولید میکنند که باید مدیریت شود.
- تامینکنندگان محدود: تنها گروه کوچکی از شرکتها میتوانند HBM را در مقیاس تولید کنند.
- چرخههای صلاحیت طولانی: مشتریان قبل از استفاده از محصول در سیستمهای گرانقیمت هوش مصنوعی، قابلیت اطمینان را آزمایش میکنند.
این محدودیتها توضیح میدهند که چرا عرضه HBM حتی زمانی که تولیدکنندگان سرمایهگذاری سنگینی میکنند، میتواند محدود باقی بماند.
چه کسی حافظه پهنای باند بالا تولید میکند؟
سه تولیدکننده اصلی HBM در مقیاس بزرگ عبارتند از SK Hynix، سامسونگ و Micron.
SK Hynix موقعیت پیشرویی در HBM ایجاد کرده و پیشرفتهایی را در HBM4 و HBM4E اعلام کرده است. Micron در حال گسترش تولید و ظرفیت بستهبندی HBM است و این محصول را در کسبوکار گستردهتر DRAM خود ادغام میکند. سامسونگ منابع تولیدی بزرگی دارد و برای بهبود صلاحیت و اجرای محصول تلاش میکند.
Nvidia یک تولیدکننده اصلی HBM نیست. این شرکت شتابدهندهها و سیستمهای هوش مصنوعی را طراحی میکند که از HBM تامین شده توسط شرکتهای حافظه استفاده میکنند. این رابطه مهم است: تامینکننده GPU ممکن است به عملکرد، ظرفیت و بستهبندی حافظه خاصی برای ارائه یک محصول کامل نیاز داشته باشد.
چرا HBM برای سرمایهگذاران مهم است
HBM نحوه ارزشگذاری برخی شرکتهای حافظه را در بازار تغییر داده است. DRAM و NAND سنتی بسیار چرخهای هستند. HBM میتواند یک محصول تخصصیتر با قیمتگذاری قویتر و روابط نزدیکتر با مشتری ارائه دهد.
این امر چرخه را حذف نمیکند. اگر ظرفیت بیش از حد ساخته شود یا هزینههای هوش مصنوعی کاهش یابد، قیمتگذاری میتواند ضعیف شود. سرمایهگذاران باید محمولههای HBM، حاشیه سود ناخالص، هزینههای سرمایهای، صلاحیت مشتری و بازار گستردهتر سهام نیمههادیها را دنبال کنند.
آیا بازارهای مرتبط با HBM را میتوان در Tapbit معامله کرد؟
Tapbit قراردادهای آتی مرتبط با سهام شرکتهای بزرگ HBM و هوش مصنوعی را فهرست کرده است، از جمله SKHYNIX-USDT، MU-USDT و NVDA-USDT.
این محصولات مشتق هستند. آنها مواجهه قیمتی را فراهم میکنند اما مالکیت مستقیم شرکتها نیستند و حقوق رأی یا سود سهام را ارائه نمیدهند. کاربران میتوانند یک حساب کاربری ایجاد کنند و مشخصات محصول، تامین مالی، اهرم، نقدینگی و در دسترس بودن منطقهای را بررسی کنند.
تعریف نهایی
حافظه پهنای باند بالا، DRAM پشتهای است که برای انتقال مقادیر زیادی داده بین حافظه و پردازنده طراحی شده است. این حافظه از لایههای عمودی، اتصالات TSV و یک رابط عریض برای ارائه پهنای باند مورد نیاز شتابدهندههای هوش مصنوعی و سیستمهای با کارایی بالا استفاده میکند.
HBM ارزشمند است زیرا عملکرد محاسباتی به طور فزایندهای به جابجایی دادهها بستگی دارد، نه فقط به سرعت پردازنده. معامله اصلی آن پیچیدگی است: سریع و کارآمد است، اما گران، تولید آن دشوار و به شدت به بستهبندی پیشرفته وابسته است.
سوالات متداول
HBM مخفف چیست؟
HBM مخفف حافظه پهنای باند بالا (high bandwidth memory) است.
آیا HBM سریعتر از GDDR است؟
HBM به طور کلی پهنای باند کل بسیار بالاتری را از طریق یک رابط بسیار عریض ارائه میدهد. GDDR همچنان میتواند برای بسیاری از محصولات گرافیکی کاربردیتر و ارزانتر باشد.
چرا HBM گران است؟
این حافظه نیازمند DRAM پیشرفته، لایههای نازک پشتهای، اتصالات TSV، اتصال پیچیده، بستهبندی پیشرفته، تست و بازده تولید بالا است.
آیا Nvidia HBM تولید میکند؟
خیر. Nvidia شتابدهندهها و سیستمهایی را طراحی میکند که از HBM استفاده میکنند. تامینکنندگان اصلی HBM شامل SK Hynix، سامسونگ و Micron هستند.
تفاوت بین HBM3E و HBM4 چیست؟
HBM4 یک نسل جدیدتر است که برای پهنای باند بالاتر و ادغام عمیقتر سیستم طراحی شده است. همچنین پیچیدگی پایه و بستهبندی را افزایش میدهد.
