KV Cache 到底占了多少显存:从 MQA/GQA 到 FP4 量化
热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,“KV …
共 1 篇
热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,“KV …