INT4 量化推理实战:精度补偿与吞吐提升的取舍
热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …
共 3 篇
热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …
热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,“KV …
热点引入:智能正在从云端走向设备 2026 年 6 月的 WWDC 上,Apple 用 Gemini 重建 Siri,端侧智能再次成为行业焦点。与此呼应,前端也通过 WebGPU 获得了在浏览器里跑本地推理的能力。两条线索指向同一个趋势:推理正在从云端下沉到设备端。 驱动力很现 …