Ny AI-teknik kan halvera kostnader för språkmodeller

Den nya modellen, DeepSeek-V3.2-Exp, använder en teknik kallad DeepSeek Sparse Attention (DSA). Den bygger vidare på tidigare forskning kring så kallad "sparse attention", där endast de mest relevanta relationerna mellan ord analyseras. Metoden har tidigare

Sammanhang: ...I DeepSeeks implementation styrs denna prioritering av en så kallad "lightning indexer", ett neuralt nätverk som väljer ut de 2 048 viktigaste kopplingarna för varje ord. Modellen kanske bara kontrollerar sitt förhållande till 100 noggrant utvalda tidigare ord snarare än alla 4 999 föregående ord. ...

Omnämnda personer: Google Research.