</> Rice 的技术博客
首页文章标签关于订阅

显存优化

共 1 篇

2026-09-08· 3 分钟阅读

KV Cache 到底占了多少显存:从 MQA/GQA 到 FP4 量化

热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,&ldquo;KV …

#KV Cache#GQA#量化#显存优化
阅读全文 →
© 2026 Rice · Rice 的技术博客 · 由 Hugo 构建
GitHub邮箱订阅