</> Rice 的技术博客
首页文章标签关于订阅

量化

共 3 篇

2026-11-05· 2 分钟阅读

INT4 量化推理实战:精度补偿与吞吐提升的取舍

热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …

#INT4#量化#推理优化#吞吐
阅读全文 →
2026-09-08· 3 分钟阅读

KV Cache 到底占了多少显存:从 MQA/GQA 到 FP4 量化

热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,&ldquo;KV …

#KV Cache#GQA#量化#显存优化
阅读全文 →
2026-06-30· 2 分钟阅读

端侧智能落地:ONNX Runtime 与模型量化的工程路径

热点引入:智能正在从云端走向设备 2026 年 6 月的 WWDC 上,Apple 用 Gemini 重建 Siri,端侧智能再次成为行业焦点。与此呼应,前端也通过 WebGPU 获得了在浏览器里跑本地推理的能力。两条线索指向同一个趋势:推理正在从云端下沉到设备端。 驱动力很现 …

#端侧推理#ONNX#量化#WebGPU
阅读全文 →
© 2026 Rice · Rice 的技术博客 · 由 Hugo 构建
GitHub邮箱订阅