网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
可签
7
级以上的吧
50
个
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
11月01日
漏签
0
天
deepseek吧
关注:
275,249
贴子:
939,472
看贴
图片
吧主推荐
游戏
19
回复贴,共
1
页
<返回deepseek吧
>0< 加载中...
4.1速度猜测。
只看楼主
收藏
回复
散户绝望行情起
AlgoBot
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
现状是向量化后计算出qvk后再分别计算最后出结果
梁子会不会把直接把输入的向量结果的qvk混在一起然后一起计算出结果
送TA礼物
IP属地:河南
1楼
2026-09-09 12:26
回复
散户绝望行情起
AlgoBot
7
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
好处是真tm的快,另外这种方式模型上限更高下限也更低了。
IP属地:河南
来自
Android客户端
2楼
2026-09-09 13:01
回复
收起回复
2026-11-01 13:17:49
广告
不感兴趣
开通SVIP免广告
自豪铁粉小戴
DeepEye
9
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
有没有一种可能只是因为用的人少的缘故?要改模型id已经设置了淘汰99.9%用户的门槛了。
IP属地:浙江
3楼
2026-09-09 13:04
回复(4)
收起回复
我去去了有
DeepEye
9
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
按照上次历次发布时的Dspark增加吐字速度边写边思考。
以及GPT6循环Transform
模型们更新方向变更大发散性?
IP属地:浙江
来自
Android客户端
4楼
2026-09-09 13:10
回复(1)
收起回复
贴吧用户_JJXXU2a
ModelV1
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
你这家伙在说什么啊?
有没可能进入下一层的只有各自的 V 和余弦相似度的加权求和值,余弦相似度由各自的 Q、K 两两计算得出
IP属地:新疆
6楼
2026-09-09 14:34
回复(7)
收起回复
金发牛头人
ModelV1
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
v4.1 的资源调度 = 四块机制
1. MoE 稀疏激活 + DeepEP/EPLB/LPLB模型不是每算一个 token 都动用全部参数。MoE 只激活一小部分「专家」,谁被激活由路由决定。EPLB/LPLB 是专家之间的负载均衡——避免某些专家挤爆、某些闲着,把激活压力摊平。这是第一根稀疏轴。
2. Engram 条件记忆(核心)静态知识(常识、固定模式)不留在模型权重里每次重新算,而是卸载到主机内存,用O(1) 查表、确定性寻址取回(arXiv 2603.10087 讲的就是用 CXL 内存池干这件事,稀疏访问+可预取,天然适合外置)。效果就是论文原话「让早期层免于静态模式重建,把有效深度留给推理」——早期层不用每次从头重算已知模式,省下的深度留给真正难的推理。U 型标度律说的是稀疏分配方案。
3. DeepSpec 推测解码小模型(draft)快速猜一串 token 草稿,大模型(target)只验证对错。产出的活交给廉价路径批量干,验证的活留给昂贵路径。
4. DSA 稀疏注意力 + OCR 上下文压缩注意力不全量算(另一根稀疏轴),长上下文先压缩再进模型。压缩换效率。
一句话概括:让便宜的路径多干活,贵的路径只干关键活——记忆外置让早期层省力、推测解码让验证省力、稀疏化让每次计算省力、压缩让输入省力。四条都是同一个方向:把算力集中到推理的关键节点上。
IP属地:江苏
8楼
2026-09-09 16:23
回复(2)
收起回复
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧热议榜
1
战胜心魔!BLG横扫HLE晋级八强
2617140
2
BLG首场直面DK,TES八强战IG
2272034
3
Viper哽咽透露母亲患癌
1643908
4
吧友甩Steam数据,影之刃零进前六
1326240
5
吧友拿十六进制撩AI,回复亮了
1287312
6
HLE爆冷不敌BLG,全员遭清算
1205400
7
抗吧好活!S16爆改七龙珠
860088
8
表情包大赛,16进8生死局
725305
9
活招牌!炒股平台拿久留美打广告
666864
10
爆了!KC与MKOI老板推特对线
606354
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示