intel吧 关注:753,334贴子:3,228,291
  • 0回复贴,共1

英特尔 AutoRound 算法正式落地

只看楼主收藏回复

IT之家 12 月 9 日消息,当地时间 12 月 8 日,英特尔宣布将 AutoRound 算法集成到 LLM Compressor,以提升低比特量化大模型的性能与效率。该算法可在保持模型准确度的前提下,实现更快、更轻量的推理,同时兼容包括英特尔自家 GPU 与英伟达 CUDA 在内的多硬件平台。此外,英特尔未来推出的“Crescent Island”系列数据中心 GPU 将原生支持 FP8 / MXFP8 / MXFP4 等格式,使量化模型能够直接利用这些数据类型带来的硬件加速优势。


IP属地:天津来自Android客户端1楼2025-12-09 23:59回复