Micron bada pamięci NAND blisko GPU. To sposób na uruchamianie gigantycznych modeli AI

Firma Micron pracuje nad nowym podejściem do architektury pamięci dla akceleratorów graficznych. Producent analizuje możliwość umieszczenia kości pamięci flash NAND o wysokiej wytrzymałości bezpośrednio w sąsiedztwie procesora graficznego (tzw. near-GPU NAND), pomijając tradycyjne magistrale i protokoły przesyłu danych.

Rozwiązanie to ma pomóc w obsłudze olbrzymich wielkoskalowych modeli językowych (LLM), rozszerzając dostępną pamięć VRAM przy znacznie niższych kosztach.

Pamięć podręczna nowej generacji: Pomiędzy HBM a dyskiem SSD

Współczesne modele AI napotykają tzw. odcięcie pamięciowe (memory wall) — tradycyjne kości DRAM oraz ultraszybkie pamięci HBM oferują potężną przepustowość, lecz są drogie i mają ograniczoną pojemność. Z kolei klasyczne dyski SSD, choć pojemne, znajdują się zbyt „daleko” od GPU, co generuje opóźnienia i spowalnia wnioskowanie (inference).

Koncepcja Micron polega na stworzeniu pośredniej warstwy pamięci:

• Lokalizacja: Kości NAND byłyby montowane bezpośrednio na płycie PCB karty lub wewnątrz samej obudowy układu (tzw. GPU package), obok pamięci HBM, GDDR7 czy LPDDR6.

• Modyfikacja architektury: Umieszczona tam pamięć NAND oferowałaby mniejszą gęstość niż standardowe kości TLC/QLC stosowane w dyskach SSD, lecz w zamian charakteryzowałaby się znacznie wyższą wytrzymałością (I/O), wyższą przepustowością oraz krótszym czasem odczytu.

• Pojemność: Akceleratory mogłyby zyskać bezpośredni dostęp do dodatkowego bufora o pojemności setek gigabajtów.

Co to oznacza dla rynku sztucznej inteligencji?

Zastosowanie pamięci near-GPU NAND pozwoliłoby uruchamiać gigantyczne modele językowe na zestawach złożonych z mniejszej liczby kart graficznych. Zamiast budować klastry z kilkudziesięciu kosztownych GPU tylko po to, by zmieścić wagę modelu w pamięci HBM, systemy AI wykorzystywałyby hybrydową hierarchię pamięci. Pozwoliłoby to drastycznie obniżyć koszty infrastruktury dla centrów danych.

Micron nie jest jedynym graczem rozwijającym ten pomysł. Firmy takie jak SK hynix czy Sandisk pracują już nad standaryzacją technologii znanej jako HBF (High-Bandwidth Flash), która zmierza w tym samym kierunku. Wszyscy producenci muszą jednak pokonać największe wyzwanie tej technologii — optymalizację ograniczonej żywotności pamięci flash przy ciągłych operacjach zapisu i odczytu oraz skrócenie opóźnień tak, by staliśmy się zdatnym uzupełnieniem dla HBM.