Dziewięć kart graficznych zakupionych za 35 dolarów. 54 GB pamięci VRAM do wykorzystania na różne sztuczne inteligencyje i inne

Użytkownik serwisu Reddit markpronin parę dni temu kupił starą platformę wydobywczą z dziewięcioma kartami graficznymi na rosyjskim portalu ogłoszeniowym Avito za około 35 dolarów (3000 rubli). Sprzedawca początkowo żądał 5 000 rubli, a sprzęt stał w garażu przez kilka lat zanim trafił na aukcję. System składa się z dziewięciu kart do kopania NVIDIA P106 mające po 6 GB VRAMu oczywiście bez wyjścia wideo. Są odpowiednikiem kart GeForce GTX 1060. Wszystkie karty działały, a jedyną brakującą częścią był dysk SSD, więc nabywca uruchomił system z USB-eka. Karty te bez problemu pomimo wieku mogą obsługiwać większe otwarto-źródłowe LLMy. Według doniesień system generował ponad 30 tokenów na sekundę na modelu klasy Qwen3.6 35B-A3B. Nabywca twierdzi, że 54 GB wystarcza dla modelu klasy 27B z kwantyzacją 8-bitową, a przy kwantyzacji 4-bitowej lub 5-bitowej – dla modeli o liczbie parametrów sięgającej około 70B. Nabywca mieszka w lokalu, w którym prąd jest bezpłatny, więc wysokie zużycie energii przez zestaw nie powoduje dodatkowych kosztów eksploatacji, co jest ważnym szczegółem.

Niestety ze względu na wiek karta P106 nie posiada rdzeni Tensor do operacji macierzowych (matrix) i jest podłączona przez interfejs PCIe 3.0 x1, co ogranicza przepustowość między kartami i spowalnia wszelkie obciążenia wymagające przesyłania danych między nimi. Płyty główne do kopania kryptowalut zazwyczaj są wyposażone w przedłużacze x1, więc wnioskowanie z wykorzystaniem wielu kart powoduje podział modelu między procesory graficzne przy ograniczonej łączności między nimi, a wydajność zależy w dużym stopniu od modelu i oprogramowania używanego do jego podziału.

Osoby rozważające podobny projekt powinny uwzględnić pobór mocy takiego kombajnu karto-graficznego.