Hård kritik mot AI-duellerna på Chatbot Arena

I en uppsats som skrivits av forskare från Stanford University, MIT och Cohere Labs riktas hård kritik mot Chatbot Arena, en sajt där olika AI-modeller kan utkämpa ”dueller” mot varandra. Enligt forskarna ska nämligen LM Arena, organisationen som stårbakom

Sammanhang: ...Till exempel testades 27 varianter av Metas AI-modell Llama 4 i smyg mellan januari och mars och endast det bästa resultatet hamnade på Chatbot Arena. ...

Omnämnda platser: Metas. Omnämnda personer: Chatbot Arena.

Här är fördelarna med att välja öppen källkod för generativ AI

Det är ett problem, eftersom det krävs mycket testning och optimering för att bygga kommersiella produkter. – Med öppen källkod har du kontroll över var du använder den och när den försvinner, säger han. Slutligen är det priset. Open source är inte helt

Sammanhang: ...Hugging Face spårar för närvarande mer än 150 000 LLM:er bara för textgenerering, upp från 80 000 för sex månader sedan. För många att välja mellan? Chatbot Arena rankar mer än 160 toppmodeller – både proprietära och öppen källkod – och listar deras licenser. ...

Omnämnda platser: USA, Europa, Metas. Omnämnda personer: Sreekanth Menon, Carnegie Mellon University, Chat GPT.