网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
可签
7
级以上的吧
50
个
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
09月16日
漏签
0
天
deepseek吧
关注:
205,830
贴子:
703,827
看贴
图片
吧主推荐
游戏
19
回复贴,共
1
页
<返回deepseek吧
>0< 加载中...
4.1速度猜测。
只看楼主
收藏
回复
散户绝望行情起
Tensor
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
现状是向量化后计算出qvk后再分别计算最后出结果
梁子会不会把直接把输入的向量结果的qvk混在一起然后一起计算出结果
送TA礼物
IP属地:河南
1楼
2026-09-09 12:26
回复
散户绝望行情起
Tensor
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
好处是真tm的快,另外这种方式模型上限更高下限也更低了。
IP属地:河南
来自
Android客户端
2楼
2026-09-09 13:01
回复
收起回复
2026-09-16 13:46:40
广告
不感兴趣
开通SVIP免广告
自豪铁粉小戴
AlgoBot
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
有没有一种可能只是因为用的人少的缘故?要改模型id已经设置了淘汰99.9%用户的门槛了。
IP属地:浙江
3楼
2026-09-09 13:04
回复(4)
收起回复
我去去了有
DeepEye
9
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
按照上次历次发布时的Dspark增加吐字速度边写边思考。
以及GPT6循环Transform
模型们更新方向变更大发散性?
IP属地:浙江
来自
Android客户端
4楼
2026-09-09 13:10
回复(1)
收起回复
贴吧用户_JJXXU2a
ModelV1
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
你这家伙在说什么啊?
有没可能进入下一层的只有各自的 V 和余弦相似度的加权求和值,余弦相似度由各自的 Q、K 两两计算得出
IP属地:新疆
6楼
2026-09-09 14:34
回复(7)
收起回复
金发牛头人
AlgoBot
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
v4.1 的资源调度 = 四块机制
1. MoE 稀疏激活 + DeepEP/EPLB/LPLB模型不是每算一个 token 都动用全部参数。MoE 只激活一小部分「专家」,谁被激活由路由决定。EPLB/LPLB 是专家之间的负载均衡——避免某些专家挤爆、某些闲着,把激活压力摊平。这是第一根稀疏轴。
2. Engram 条件记忆(核心)静态知识(常识、固定模式)不留在模型权重里每次重新算,而是卸载到主机内存,用O(1) 查表、确定性寻址取回(arXiv 2603.10087 讲的就是用 CXL 内存池干这件事,稀疏访问+可预取,天然适合外置)。效果就是论文原话「让早期层免于静态模式重建,把有效深度留给推理」——早期层不用每次从头重算已知模式,省下的深度留给真正难的推理。U 型标度律说的是稀疏分配方案。
3. DeepSpec 推测解码小模型(draft)快速猜一串 token 草稿,大模型(target)只验证对错。产出的活交给廉价路径批量干,验证的活留给昂贵路径。
4. DSA 稀疏注意力 + OCR 上下文压缩注意力不全量算(另一根稀疏轴),长上下文先压缩再进模型。压缩换效率。
一句话概括:让便宜的路径多干活,贵的路径只干关键活——记忆外置让早期层省力、推测解码让验证省力、稀疏化让每次计算省力、压缩让输入省力。四条都是同一个方向:把算力集中到推理的关键节点上。
IP属地:江苏
8楼
2026-09-09 16:23
回复(2)
收起回复
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧热议榜
1
互联网上亿条视频抢救计划,吧友在行动
1764720
2
青春时期最意难平的那个人
1285077
3
孙子查出非亲生,鉴定机构挨罚
1255100
4
deepseek工程师自嘲被AI取代
1020951
5
Uzi对线粉丝:观众事多礼少
860392
6
韩网造谣中国人不会写汉字
742625
7
南方医科大学博士跳楼身亡
646584
8
中式恐怖!上大学不给买手机
456205
9
扎心!吧友锐评体制内牢九门
389664
10
不粘锅打法!Bin得圣枪真传?
312543
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示