DeepSeek 开源周第一天，推出了名为 FlashMLA 的技术，该技术为 Hopper GPU 开发的高效 MLA 解码内核，专门针对可变长度序列进行了优化，已投入生产。FlashMLA 使用后，H800 可达到 3000GB/s 内存，实现 580TFLOPS 计算性能。MLA 是 DeepSeek 提出的创新注意力架构，从 V2 开始，MLA 使得 DeepSeek 在系列模型中实现成本大幅降低，但计算、推理性能仍能与顶尖模型持平。此次发布的 FlashMLA 支持 BF16，分页 KV 缓存，块大小为 64。环境要求为 Hopper GPU、CUDA 12.3 及以上版本、PyTorch 2.0 及以上版本。MLA 通过低秩联合压缩技术，将多头注意力中的键（Key）和值（Value）矩阵投影到低维潜在空间，从而显著减少键值缓存（KV Cache）的存储需求。V2 版本中，显存占用降到了过去最常用的 MHA 架构的 5%-13%，推理成本仅为 Llama 370B 的 1/7、GPT-4 Turbo 的 1/70。V3 版本中，降本提速更为明显。DeepSeek-R1 在 HuggingFace 上获得了超过 10000 个赞，成为该平台近 150 万个模型之中最受欢迎的大模型。