Utvärdering av AI-agenter kan bli oväntat dyrt

Eftersom många organisationer använder en andra stor språkmodell för att granska resultaten från en LLM-driven agent, kan agenttestning bli många gånger dyrare än att testa traditionell programvara, säger han. Dessutom kan denna metod, som kallas LLM somdomare,

Sammanhang: ...Man ber i princip en annan LLM att betygsätta prestandan hos en LLM utifrån olika kriterier, och kriterierna varierar kraftigt mellan olika användningsfall. Monte Carlo upplevde detta problem själv när företaget lät en LLM-driven utvärdering köras i flera dagar och slutade med en femsiffrig faktura, konstaterar Gavish...

Omnämnda platser: Monte Carlo. Omnämnda personer: Russell Twilligear.