DeepSeek發(fā)布NSA 加速推理降低成本

2月19日消息，2月18日，DeepSeek官宣推出NSA（Native Sparse Attention）。

DeepSeek稱，NSA是一種與硬件一致且本機(jī)可訓(xùn)練的稀疏注意力機(jī)制，用于超快速的長上下文訓(xùn)練和推理。

通過針對現(xiàn)代硬件的優(yōu)化設(shè)計，NSA加快了推理速度，同時降低了預(yù)訓(xùn)練成本，而不會影響性能。在一般基準(zhǔn)測試、長上下文任務(wù)和基于指令的推理上，它的表現(xiàn)與完全注意力模型相當(dāng)甚至更好。

NSA的核心組件包括：動態(tài)分層稀疏策略；粗粒度token壓縮；細(xì)粒度token選擇。