AI-agenter kan tvinga fram en ny design av företagsservrar

Företag som implementerar agentbaserad AI kan behöva en ny generation av AI-servrar, eftersom konventionell GPU-baserad infrastruktur har svårt att effektivt köra AI-arbetsflöden med flera steg, enligt forskare från Microsoft Azure och University of Texas

Sammanhang: ...Den överbelägger också GPU-minnet genom att placera fler agenter på varje GPU och förhämta nästa agents tillstånd för att dölja swap-latensen”, skriver forskarna. ”För att anpassa maskinen till de heterogena rollerna grupperar Agora kärnor efter roll och tillämpar affinitetsmedveten schemaläggning för att återställa lokaliteten. ...

Omnämnda platser: Microsofts, Agora, Austin. Omnämnda personer: Greyhound Research.