Szóljon ez a cikk az NVIDIA új DGX Spark arany dobozáról, a specifikációkról, a beállításról, a teljesítménymérésekről, az ár/teljesítmény összehasonlításokról más rendszerekkel, és végül egy kis útmutatást adok arról, hogy szerintem kinek lehet a legalkalmasabb ez a fejlesztői doboz.
DIGITS projekt
Az NVIDIA bejelentette a „DIGITS projektet” a 2025. január 5-én Las Vegasban megrendezett CES 2025 kiállításon, azzal az ígérettel, hogy „minden asztalra és minden AI-fejlesztő kezébe kerüljön egy Grace Blackwell chippel felturbózott AI szuperszámítógép.” A hírek szerint ez egy személyes AI szuperkomputer lett volna, amely világszerte AI-kutatók, adatelemzők és diákok számára biztosította volna a NVIDIA Grace Blackwell platform teljesítményét. A DIGITS projekt az új NVIDIA GB10 Grace Blackwell szuperchipet tartalmazta volna, amely petaflopos AI-számítási teljesítményt biztosított volna prototípusok készítéséhez, finomhangoláshoz és nagy AI-modellek futtatásához. Nagyon izgalmasnak tűnt, és alig vártam, hogy többet tudjak meg róla.
Átnevezve: DGX Spark
Néhány hónappal később az NVIDIA bejelentette, hogy a DIGITS átnevezésre került „DGX Spark” névre, és bemutatták a GTC (GPU Technology Conference) konferencián 2025 márciusában. Akkor még nem volt kapható, de előrendelhető volt. Magyarországra csak sokkal később, tavaly ősszel érkezett, szeptember óta tudjuk rendelni, szállítani.
Nvidia "Founder’s Edition" és más gyártók verziói
Nvidia DGX Spark műszaki adatok
Mivel ezt a rendszert tanulási, fejlesztési, prototípus-készítési és tesztelési célokra használom, nincs szükségem a 200 Gbps (RDMA-kompatibilis) hálózati kártyára; a 10 GbE hálózati kártya vagy a WiFi7 elegendő az igényeimhez.
Még a Blackwell GPU magok nélkül is ez egy nagyon erős munkaállomás 20 ARM maggal, 10 teljesítménymaggal (Cortex-X925, 4 GHz-en működik) és 10 hatékonysági maggal (Cortex-A725, 2,8 GHz-en működik). Elvégeztem néhány gyors egymagos teljesítménytesztet, és úgy gondolom, hogy a GB10 Cortex CPU teljesítménymagjai teljesítményükben nagyon hasonlóak az Apple M4 CPU teljesítménymagjaihoz (nagyon gyorsak).
Mint már említettem, a 273 GB/s-os memória sávszélesség (ami nagyon fontos a következtetéshez) volt a fő aggodalmam és homlokráncolásom a rendszerrel kapcsolatban.
Startup: desktop vagy headless
A DGX Spark beállítása és használata kétféle módon lehetséges. Ha az első bekapcsolás előtt csatlakoztatsz egy billentyűzetet, egeret és monitort, akkor a rendszer asztali környezetben indul el, és úgy használhatod, mint egy Linux asztali rendszert (DGX OS néven hivatkoznak rá, de ez valójában egy Ubuntu 24.04 rendszer, amelyre előre telepítették a szoftvereiket és illesztőprogramjaikat). Ha perifériák csatlakoztatása nélkül kapcsolod be, akkor headless módban indul el. A doboz tartalmazza az SSID-t és a jelszót, amelyekkel távolról csatlakozhatsz és elindíthatod headless módban. Később, ha szeretnéd, bármikor átválthatsz a másik módra. Mivel még nem tudtam, hogyan szeretném használni, próbaképpen először asztali módban próbáltam ki.
Később úgy döntöttem, hogy inkább „szerverként” fogom használni, amelyhez távolról is hozzáférhetek a helyi hálózaton, és amelyre át tudom helyezni a munkámat a laptopomról, ahelyett, hogy asztali számítógépként használnám. Erről a beállításról a következő részben fogok bővebben beszélni.
Headless mód
A headless módra való átálláshoz egyszerűen eltávolítottam a billentyűzetet, az egeret és a monitort, áthelyeztem a router/switch közelében, és 1 GbE vezetékes kapcsolattal csatlakoztam a hálózathoz. Ezután SSH-val beléptem a rendszerbe, és csatlakoztam a Tailscale hálózatomhoz (egy hálózati overlay, amely lehetővé teszi az eszközök távoli, privát és biztonságos összekapcsolását). Miután a rendszer sikeresen csatlakozott a Tailscale hálózatomhoz, telepítettem az NVIDA Sync klienst a laptopomra, majd a Tailscale végpontján keresztül csatlakoztam a DGX-hez. Ezzel a beállítással bárhonnan hozzáférhetek a DGX rendszeremhez SSH-n keresztül vagy az NVIDIA Sync klienssel.
A DGX Sync klienssel elindíthatom a DGX Dashboardot a laptopomon, és onnan megnyithatom a távoli DGX-en futó JupyterLab notebookot, vagy megnyithatom a terminált, vagy megnyithatom a VSCode-ot távoli módban, és összekapcsolhatom az IDE-met a Sparkkal. Lehetővé teszi egyéni kapcsolatok beállítását is, ahogy az alábbi képen látható. Beállítottam egy kapcsolatot az Ollama és a Llama.cpp programokhoz, amelyek a Sparkon futnak:
A DGX Dashboard megnyitásával távolról figyelemmel kísérheted a Spark RAM- és GPU-használatát, valamint megnyithatsz egy JupyterLab notebook munkamenetet a Sparkon:
A Tailscale okostelefonokon (iPhone és Android) is működik, így útközben is csatlakozhatsz a Sparkon futó webalkalmazásokhoz a telefonodon keresztül.
A DGX Spark Playbook-ok
Az NVIDIA kifejezetten a DGX Spark felhasználók számára készített egy „playbook” gyűjteményt, hogy segítsen a a rendszerrel való gyors megismerkedésben és a produktív munkavégzésben. A gyűjtemény tartalmazza a következtetések futtatását, a képek generálását, a nyelvi és vizuális módok betanítását és finomhangolását, valamint egyéb feladatokat, amelyek segítenek megérteni, hogyan lehet a legtöbbet kihozni a Sparkból. Ha kezdő felhasználó vagy, és a DGX Sparkot tanulási és képzési eszközként vásároltad meg, akkor a kézikönyvekkel érdemes kezdeni. Ezeket kifejezetten a DGX Sparkhoz tervezték, így nem kell meglepetésekkel számolnod, csak kövesd a megadott utasításokat.
A DGX Spark Playbook-okat itt böngészheted: https://build.nvidia.com/spark
Frissítés: Az első Playbook, amit kipróbáltam (unsloth), nem működött... Volt egy hibás URL és néhány csomagverzió- és függőségi probléma. A Github-on hamar megtaláltam a javítást, amely helyreteszi a playbook utasításait, itt találod: PR#14
GPU teljesítmény tesztek
Az NVIDIA közzétette a DGX Spark teljesítménymutatóit különböző feladatokra, többek között finomhangolásra, képalkotásra, következtetésekre (inference) és egyebekre.
Saját benchmark-ok az NIVIDA eredményeinek ellenőrzésére
Megjegyzés: jelenleg nincs bináris kiadás a llama.cpp-hez, amely ARM64 és CUDA támogatást is biztosít Linux számára; először le kell fordítanod (libcurl szükséges). Az alábbiakban bemutatom, hogyan kell ezt megtenni:
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
sudo apt install libcurl4-gnutls-dev
cmake -B build-cuda -DGGML_CUDA=ON
cmake --build build-cuda -j
A sikeres összeállítás után a build-cuda/bin könyvtárban elérhetővé válik az összes llama.cpp bináris fájl, beleértve a llama-bench parancsot is. Ezután töltsd le mindkét modellt (GPT-OSS-20B és -120B) a Huggingface webhelyről. Miután a modellek a helyükre kerültek, futtathatod a benchmarkokat.
A benchmarkok futtatásához a következő parancsokat használtam.
GPT-OSS-20B Benchmark
./llama-bench -m ../../models/gpt-oss-20b-Q4_K_M.gguf -fa 1 -d 0,4096,8192,16384,32768 -p 2048 -n 32 -ub 2048
Az alábbi eredmények a „pp” („pre-fill”, más néven „prompt processing”, azaz az LLM-kérés kezdeti, számításigényes szakasza) és a „tg” értékeket mutatják, amely utóbbi a gpt-oss-20B modell esetében másodpercenként generált válasz tokenek számát jelenti:
- PP (prefill) = 3685 token/másodperc
- TG (válasz tokenek) = 85 token/másodperc
Íme a gpt-oss-20B benchmark eredményei:
GPT-OSS-120B Benchmark
./llama-bench -m ../../models/gpt-oss-120b-Q4_K_M.gguf -fa 1 -d 0,4096,8192,16384,32768 -p 2048 -n 32 -ub 2048
Bemutatom a gpt-oss-120b modell esetében a „pp” (előre kitöltés/parancssor feldolgozás) és a „tg” (másodpercenként generált válasz tokenek száma) eredményeit:
- PP (előre kitöltés/parancssor feldolgozás) = 1821 token/másodperc
- TG (válasz tokenek) = 50 token/másodperc
Illetve a kimeneten kapott képernyőképet:
A gpt-oss 20B és 120B modellek benchmark eredményei megegyeznek az NVIDIA által megadott mutatókkal, ami arra enged következtetni, hogy az NVIDIA által megadott többi benchmark eredmény is valószínűleg pontos.
Hogyan viszonyul a DGX az Apple Mac Studio-hoz?
A DGX Sparkhoz hasonlóan az Apple MacBook Pro vagy Mac Studio is gyors ARM64 CPU magokat és egységes memóriával rendelkező GPU magokat kínál, így ez egy méltányos összehasonlítás.
Ár-összehasonlítás
Egy azonos specifikációjú Mac Studio M4 Max processzorral, 128 GB RAM-mal és 4 TB SSD-vel körülbelül 700 dollárral drágább, mint a DGX Spark:
– NVIDIA DGX Spark: 3999 dollár
– Apple M4 Max: 4699 dollár
Most hasonlítsuk össze a két rendszer számítási teljesítményét és memória sávszélességét:
NVIDIA DGX Spark:
Számítási kapacitás: 1000 TOPS (FP4 pontosság)
– Memória sávszélesség: 273 GB/s
– Memória mérete: 128 GB egységes memória
– 4 TB NVMe PCIe SSD
Apple Mac Studio M4 Max processzorral:
Számítási kapacitás: 38 TOPS (FP16 pontosság)
– Memória sávszélesség: 546 GB/s
– Memória mérete: 128 GB egységes memória
– 4 TB NVMe PCIe SSD
Tehát míg az M4 Max kétszer akkora memória sávszélességgel rendelkezik, a DGX Spark viszont hatszor nagyobb számítási kapacitással bír (figyelembe véve a jelentett adatok FP4 és FP16 közötti átváltását). Nincs M4 Max-om, hogy közvetlenül összehasonlítsam a kettőt, de szerintem a DGX Spark sokkal jobb rendszer lenne a Mac-nél a modellek finomhangolásához, de nem vagyok biztos a következtetés sebességében, mivel a memóriaszélesség kritikus fontosságú a következtetéshez.
A CUDA előnye
A DGX Spark egyik igazán nagy előnye az Apple Metal GPU, AMD, Intel, ATI stb. megoldásokkal szemben az NVIDIA GPU, amely hozzáférést biztosít a CUDA ökoszisztéma egészéhez. MacBook Pro-t (M1 Max 64 GB RAM-mal) is használok, és sok olyan dolog van, amely CUDA-t igényel, és amelyet nem tudok megkerülni a device=mpsparanccsal. Néhány dologhoz egyszerűen CUDA szükséges.
Mi a helyzet az egyéb NVIDIA opciókkal, például az RTX 5090-nel?
Az RTX 5090 minden bizonnyal gyorsabb, mint a DGX Spark (számítás és memória sávszélesség tekintetében is sokkal gyorsabb), és valamivel olcsóbb (nettó 1M forint), de csak 32 GB VRAM-mal rendelkezik. A 32 GB VRAM nagyon korlátozó; nem lehet finomhangolni vagy következtetéseket levonni nagy modelleken, mint a DGX Spark esetében. Van még az NVIDIA RTX PRO 6000 (96 GB VRAM), de az közel nettó 3M forintba kerül. Ráadásul mind az RTX 5090, mind az RTX PRO 6000 csak GPU-kártyák, így továbbra is szükség van egy teljes torony asztali rendszerre CPU-val, RAM-mal, SSD-vel és nagy teljesítményű tápegységgel. Hatalmas és nehéz rendszer lesz, biztosan nem olyan hordozható, mint a DGX Spark.
A DGX Spark nem olcsó, de egyszerűen nincs olyan egyenértékű alternatíva, amely ennyiért CUDA-t és 128 GB GPU-hozzáférhető memóriát is kínálna.
Ahhoz, hogy képet kapjunk a DGX Sparkról, össze kellene hasonlítanunk egy NVIDIA RTX 5070-nel, amely 128 GB VRAM-mal rendelkezik… de ez csak egy elképzelt rendszer, mivel az 5070 csak 12 GB VRAM-mal rendelkezik. Mind a GB10 Grace Blackwell, mind az RTX 5070 6144 CUDA maggal rendelkezik.
Kinek lehet ideális a DGX Spark?
Ha olyan általános célú rendszert szeretnél, amely időnként képes LLM-eken következtetéseket levonni, akkor maradj az Apple kiváló termékei, például a Mac Mini, a MacBook Pro vagy a Mac Studio mellett.
Viszont ha adat-/számítógép-tudós, kutató, AI-fejlesztő, vagy ML/AI-műveleti mérnök vagy, AI-megoldásokat finomítasz és prototípusokat készítesz, vagy épp megpróbálod megszerezni a szükséges tapasztalatot, hogy beléphess ezekbe a karrierterületekbe, akkor az NVIDIA DGX Spark (vagy annak partnergyártók által kínált változatai) jó választás lehet.
Az én véleményem
Ez egy remek eszköz AI fejlesztésre és demózásra. Lehetővé teszi, hogy levehessem az AI-terhelést a laptopomról (legtöbbször M4 MacBook Air), és hozzáférjek a teljes CUDA-ökoszisztémához, miközben teljes mértékben ellenőrizhetem a beállításokat, és nem kell aggódnom a felhő költségek miatt.
Vásárold meg nálunk, raktárkészletről tudjuk hozni: Nvidia DGX SPARK
