福大大架构师每日...吧 关注:22贴子:1,906
  • 1回复贴,共1

lmdeploy v0.11.1 版本发布:全面支持DeepSeek V3.2与DPTP,多项

只看楼主收藏回复

lmdeploy v0.11.1 版本发布:全面支持DeepSeek V3.2与DPTP,多项性能优化与Bug修复
1. 监控与指标体系
对 metrics 进行了改进,使性能监控和运行状态统计更加完善,有助于生产环境中的观测与调优。
2. 调度与引擎优化
重构了调度器与 engine.py,优化了内部结构,提高了整体执行效率和可维护性。同时对 dp 超时时间进行了更新,使分布式场景下的任务调度更加稳定。
3. 模型与多模态支持增强
针对 Qwen3-VL 模型进行了多项改进,包括新增 vision id、增加多模态处理器参数,以及整体能力优化,显著提升了多模态推理的一致性与可扩展性。
4. 推理与请求处理能力
在请求被取消时,系统现在能够返回已路由的专家信息,提升了推理过程中的可解释性。
同时,v1/chat/completions 接口新增对 chat_template_kwargs 的支持,使对话模板配置更加灵活。
5. 内部结构与内存处理
为 dummy 输入预留 block,优化了内存使用策略;在预填充阶段构建 block trie 并增加命中率统计,提升了缓存与推理效率。


IP属地:北京1楼2025-12-28 06:29回复


    IP属地:北京来自Android客户端2楼2025-12-28 07:02
    回复