Utvärdering av AI-agenter kan bli oväntat dyrt

Eftersom många organisationer använder en andra stor språkmodell för att granska resultaten från en LLM-driven agent, kan agenttestning bli många gånger dyrare än att testa traditionell programvara, säger han. Dessutom kan denna metod, som kallas LLM somdomare,

Sammanhang: ...Man ber i princip en annan LLM att betygsätta prestandan hos en LLM utifrån olika kriterier, och kriterierna varierar kraftigt mellan olika användningsfall. Monte Carlo upplevde detta problem själv när företaget lät en LLM-driven utvärdering köras i flera dagar och slutade med en femsiffrig faktura, konstaterar Gavish...

Omnämnda platser: Monte Carlo. Omnämnda personer: Russell Twilligear.

SAP lanserar AI-agenter som samarbetar

Han har också frågor om de två användningsfall som presenteras och noterar att tillkännagivandet är kort om detaljer. – Vilka förutsättningar krävs för att distribuera dessa autonoma arbetsflöden? Vilka är begränsningarna? I vilken skala ger de en positiv

Sammanhang: ...Många av SAP:s AI-påståenden föregår framtida produktlanseringar med icke verifierbara affärsresultat. Att tillkännage grafdatabaser och Monte Carlo-analys i SAP Analytics Cloud visar att de försöker komma ikapp. Uppdateringar av Integration Suite SAP introducerar nya funktioner i sin integrationsplattform som tjänst, Integration Suite, inklusive generativ AI, uppdaterade funktioner och ett nytt licensalternativ. ...

Omnämnda platser: Monte, Slack. Omnämnda personer: Knowledge Graph.