Ny AI-teknik kan halvera kostnader för språkmodeller

Den nya modellen, DeepSeek-V3.2-Exp, använder en teknik kallad DeepSeek Sparse Attention (DSA). Den bygger vidare på tidigare forskning kring så kallad "sparse attention", där endast de mest relevanta relationerna mellan ord analyseras. Metoden har tidigare

Sammanhang: ...Sparse attention innebär att modellen istället prioriterar vissa ordrelationer och bortser från de minst relevanta. I DeepSeeks implementation styrs denna prioritering av en så kallad "lightning indexer", ett neuralt nätverk som väljer ut de 2 048 viktigaste kopplingarna för varje ord. ...

Omnämnda personer: Google Research.