Granskning: kända AI-modeller lever inte upp till EU:s lagkrav

Den schweiziska startupen Latticeflow har i samarbete med forskningsinstituten ETH Zürich och bulgariska Insait tagit fram ett granskningsverktyg eller “Large Language Model (LLM) Checker” som kan se i vilken mån generativa AI-modeller följer reglerna i EU:s

Sammanhang: ...När det kommer till diskriminering ska verktyget givit Open AI:s GPT-3.5 Turbo betyget 0,46 av 1 medan Alibaba Clouds Qwen 1.5 72B Chat fick 0,37. Sett till “instruktionskapning” ska Metas Llama 2 13B Chat fått betyget 0,42 medan franska Mistrals modell 8x7B fick 0,38. Bäst snittbetyg av alla modeller fick Google-finansierade Anthropics modell Claude 3 Opus med 0,89....

Omnämnda platser: Metas Llama 2. Omnämnda personer: Alibaba Clouds Qwen.