</> Rice 的技术博客
首页文章标签关于订阅

吞吐

共 2 篇

2026-11-05· 2 分钟阅读

INT4 量化推理实战:精度补偿与吞吐提升的取舍

热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …

#INT4#量化#推理优化#吞吐
阅读全文 →
2026-08-25· 3 分钟阅读

推理服务的成本账本:Prefill/Decode 分离与 Continuous Batching

热点引入:175 万亿 Token/日背后的成本账 2026 年 8 月公开数据显示,国内日均 Token 调用量已达约 175 万亿。这个量级意味着,推理成本已经从&quot;技术细节&quot;上升为&quot;商业模式能否成立&quot;的核心变量——每百万 token 的 …

#推理优化#Continuous Batching#成本#吞吐
阅读全文 →
© 2026 Rice · Rice 的技术博客 · 由 Hugo 构建
GitHub邮箱订阅