管仲吧 关注:14,446贴子:9,815
  • 5回复贴,共1

deepseek设计思想 对比 管仲思想

只看楼主收藏回复

管仲作为系统学鼻祖,构建的法治,经济系统超越历朝历代。这里对比一下deepseek的技术创新,来宣传一下管仲。
deepseek:充分的学习数据,预训练进行初步总结,然后使用强化学习进行标准对齐(大模型共同点)
混合专家结构MoE ,训练时每次只激活部分参数,从而促进大模型内部解耦合。(半新技术,部分大模型在用)
无辅助损失的动态调整专家容量。(新技术) 简单的说:其他大模型在内部解耦合后,各模块分配的训练任务是固定的,类似于计划经济下各单位的任务分配方式。而deepseek可以根据任务各模块被激活的频率,对各模块进行动态扩容或缩容。类似于市场经济与计划经济相结合。最终实现负载均衡。
多头部潜在注意力机制MLA(核心新技术) 复杂的说:大模型是由一个个翻译单元(transformer)组成的,可以将句子中的词语根据上下文翻译成真实的含义。 这个过程需要存储词语之间的相互关系,这个相互关系通过一个矩阵来表示。 对于长文本来说,这个矩阵非常稀疏,因为大部分词语都是毫无关系的。另外就是每个词语本身需要映射出全部语境下的含义。 这些过程中有很多工作可以提前完成并存储,从而避免重复计算,但是需要占据大量内存。占据内存的矩阵可以进行低秩压缩,在低纬空间任然可以保留词语的相关性,但是内存消耗大大降低。 简单的说: 抓大放小。
系统学鼻祖管仲:圣人博闻、多见、畜道、以待物。物至而对形,曲均存矣。减、尽也。溜,发也。言环毕善,莫不备得,故曰减溜大成。成功之术,必有巨获。
士农工商四民者,国之石民也,不可使杂处,杂处则其言哤,其事乱。 ……是故其父兄之教不肃而成;其子弟之学不劳而能。 (士农工商的职业划分由管仲提出,实行四业分居类似于现在的产业集群,可以让对应人群的专业化程度大大提升。 不过大家不能生搬硬套,毕竟那个时候的产业没有现在这么多,人口也差的远,关键是介绍为什么要解耦合)
管仲既是计划经济(官山海)的鼻祖,也是市场经济的鼻祖。创建的轻重九府包含了现代金融机构的所有职能,详细内容可以查看往期作品。论负载均衡,供需平衡,没有人比得过管仲。
人君操谷币金衡,而天下可定也 。 典型的抓大放小思想。
天地万法,殊途同归。 高端的思维方式往往都是相似的。


IP属地:广东来自Android客户端1楼2025-01-30 12:55回复
    吧主有推荐的管仲视频学习嘛?书籍看不下去


    IP属地:江苏来自Android客户端2楼2025-02-09 10:11
    收起回复
      2026-01-03 05:04:12
      广告
      不感兴趣
      开通SVIP免广告
      😀


      IP属地:广东来自Android客户端3楼2025-03-03 01:05
      回复
        高手


        IP属地:广东来自Android客户端4楼2025-03-06 19:08
        回复