NSA 注意力机制来了！感谢ds的再次进步！【deepseek吧】

deepseek吧关注：116,136贴子：226,950

网上这篇论文的解读已经很多了，我下载了论文主要让ds回答了有关个人部署使用方面的问题：
1、NSA 注意力机制能加快多少推理速度？
2、论文中的技术能让上下文长度和输入输出长度变大多少？
3、对个人来说，部署私人满血AI模型的硬件难度是否大大降低？

送TA礼物

IP属地:江苏

来自Android客户端1楼2025-02-19 21:00回复

简单来说，就是能使用更少的显存达到原来十倍的速度！原本671b个人低成本的CPU方案输出速度太慢（2~5tokens/s），基本很难用，但现在翻十倍，可用性已经大大提升了。

IP属地:江苏

来自Android客户端2楼2025-02-19 21:02

同志们，个人部署满血AI模型的时代已经近在眼前！！！

IP属地:江苏

来自Android客户端3楼2025-02-19 21:07

成本也不低吧…

IP属地:湖北

来自Android客户端4楼2025-02-19 22:32

收起回复

论文题目是啥呀

IP属地:北京

来自Android客户端5楼2025-02-20 03:55

收起回复

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴