Behöver du verkligen alla dessa GPU:er?

Ett dramatiskt prisfall Nya rapporter visar att priserna på molnbaserade, högt efterfrågade GPU:er har rasat. Till exempel sjönk kostnaden för en AWS H100 GPU Spot Instance med hela 88 procent i vissa regioner, från 105,20 dollar i början av 2024 till 12,16

Sammanhang: ...Faktum är att många inferensuppgifter fungerar perfekt på något äldre GPU:er som Nvidias A100- eller H100-serier, som nu finns tillgängliga till en mycket lägre kostnad. Ännu mer överraskande? ...

Omnämnda personer: Nvidias GB200.

Kinesiska företag kringgår USA:s restriktioner för AI-chipp via molntjänster

Bland dessa var det fyra aktörer som uttryckligen angav Amazon Web Services (AWS) som sin molntjänstleverantör, men som fick tillgång till tjänsterna via kinesiska mellanhänder snarare än direkt från AWS. Dessa anbudsdokument belyser de olika strategier som

Sammanhang: ...Enligt Reuters granskning spenderade Shenzhen University 200 000 yuan (cirka 28 000 dollar) via en mellanhand för att få tillgång till AWS molnservrar som drivs av Nvidias A100- och H100-chipp, som enligt amerikanska bestämmelser inte får exporteras direkt till Kina. På samma sätt efterfrågade Zhejiang Lab, ett forskningsinstitut, AWS molntjänster för sin AI-modellutveckling på grund av otillräcklig datorkraft från lokala leverantörer. ...

Omnämnda platser: USA:s, Kina, Kinas. Omnämnda personer: Michael McCaul.

”Superdator-på-en-krets” med 1 536 kärnor

Den öppna instruktionsuppsättningen RISC‑V har kommit starkt de senaste åren och kommer enligt analytiker ta en allt större del av den totala marknaden för processorer. Det har hittills framför allt handlat om små, strömsnåla kretsar till exempel för användning

Sammanhang: ...Prestandamässigt ger varje krets upp till 24 TFLOPS FP64-beräkningar vid 480 watt, vilket företaget jämför med Nvidias A100 som ligger på 19,5 TFLOPS vid 300 watt. Priset för ett acceleratorkort med två Thunderbird-kretsar kommer ligga kring 6 500 dollar, vilket är mindre än vad ett enda A100 går på....

Omnämnda platser: Techspot, Texas, Austin. Omnämnda personer: Andy Gray, Nvidias A100.