Nvidia DGX och Mac Studio dunderduo för lokal AI

Nvidias nya mini-PC DGX Spark har med sin GB10 Grace Blackwell-systemkrets minst sagt rejält tilltagen beräkningskapacitet för maskininlärning och AI. Men det delade primärminnets bandbredd på 273 GB/s blir en flaskhalls om datorn används för att köra stora

Sammanhang: ...Konfiguration Prefill Generation Total tid Uppsnabbning DG Spark 1,47s 2,87s 4,345 1,9x M3 Ultra Mac Studio 5,57s 0,85s 6,42s 1,0x DGX Spark + M3 Ultra 1,47s 0,85s 2,32s 2,8x Resultatet blev 180 procent snabbare än med enbart Mac Studio och nästan 50 procent snabbare än med enbart DGX Spark. Utvecklarna testade med Metas Llama-3.1 8B-modell och genererade bara 32 tokens. Med en större modell eller längre prompt bör resultaten bli ännu bättre, skriver Tom's Hardware....

Omnämnda platser: Metas. Omnämnda personer: Mac Studio, Apples Mac Studio, Prefill Generation.