Ukraina tar fram eget AI-system – med Googles öppna modeller

Ukraina håller på att utveckla ett eget AI-system baserat på Googles öppna Gemma-ramverk för att minska beroendet av utländska lösningar, rapporterar Reuters. Landets digitaliseringsminister, Oleksandr Bornyakov, säger att de inte vill förlita sig på proprietära

Sammanhang: ...Landets digitaliseringsminister, Oleksandr Bornyakov, säger att de inte vill förlita sig på proprietära system som Chat GPT, eller öppna kinesiska språkmodeller som Deepseek. Även Metas Llama och Frankrikes Mistral AI var bland de potentiella kandidaterna, men i slutändan valdes Googles Gemma på grund av hur den presterade över flera olika språk. ...

Omnämnda platser: Metas Llama, Frankrikes. Omnämnda personer: Chat GPT, Googles Gemma, Oleksandr Bornyakov.

Nvidia DGX och Mac Studio dunderduo för lokal AI

Nvidias nya mini-PC DGX Spark har med sin GB10 Grace Blackwell-systemkrets minst sagt rejält tilltagen beräkningskapacitet för maskininlärning och AI. Men det delade primärminnets bandbredd på 273 GB/s blir en flaskhalls om datorn används för att köra stora

Sammanhang: ...Konfiguration Prefill Generation Total tid Uppsnabbning DG Spark 1,47s 2,87s 4,345 1,9x M3 Ultra Mac Studio 5,57s 0,85s 6,42s 1,0x DGX Spark + M3 Ultra 1,47s 0,85s 2,32s 2,8x Resultatet blev 180 procent snabbare än med enbart Mac Studio och nästan 50 procent snabbare än med enbart DGX Spark. Utvecklarna testade med Metas Llama-3.1 8B-modell och genererade bara 32 tokens. Med en större modell eller längre prompt bör resultaten bli ännu bättre, skriver Tom's Hardware....

Omnämnda platser: Metas. Omnämnda personer: Mac Studio, Apples Mac Studio, Prefill Generation.

Långa meningar och dålig grammatik räcker för att lura LLM:er

– Sanningen om många av de största språkmodellerna där ute är att den snabba säkerheten är ett dåligt byggt stängsel med så många hål att laga att det är ett oändligt spel med whack-a-mole, säger David Shipley från Beauceron Security. – Den halvfärdiga

Sammanhang: ...Faktum är att forskarna rapporterade en 80 procent till 100 procent framgångsgrad med denna taktik med en enda prompt och “nästan ingen promptspecifik inställning” mot en mängd olika vanliga modeller inklusive Googles Gemma, Metas Llama och Qwen. Metoden hade också en “enastående framgångsgrad” på 75 procent mot OpenAI: s senaste öppen källkodsmodell, gpt-oss-20b. ...

Omnämnda platser: Metas Llama, Beauceron Security. Omnämnda personer: Palo Alto Networks, David Shipley, Googles Gemma.