在deepseek的相关技术中提到了一项非常关键的技术叫蒸馏
蒸馏技术说白了就是一个学生从老师那里学东西,比方说这名学生就是deepseek
在学习的过程中实际学到的信息可能会跟老师讲的有所出入
那怎么办呢?
那就要么提高一下学生的学习能力
要么就多找几个老师
所以deepseek本身在优化自身的学习能力,同时它也在从很多大模型中提取信息,比如ChatGPT、豆包、文心一言等等,反正做大模型的公司挺多的。
可以说所有的开源大模型都是它的信息学习对象。
不过说好听点叫信息提取,说难听点叫信息窃取
那假如美国那边反应过来了,说你这不就是偷我们的推理结果么?我们不开源了……
美国这么搞可以吗?有用吗?
答案是没用
因为就算美国不搞或者不开源了,中国也会搞
而且如果美国不开源了,他在竞争上就会被中国碾压。
所以deepseek可以说是长江后浪推前浪,后浪把前浪全部拍死在沙滩上了。

蒸馏技术说白了就是一个学生从老师那里学东西,比方说这名学生就是deepseek
在学习的过程中实际学到的信息可能会跟老师讲的有所出入
那怎么办呢?
那就要么提高一下学生的学习能力
要么就多找几个老师
所以deepseek本身在优化自身的学习能力,同时它也在从很多大模型中提取信息,比如ChatGPT、豆包、文心一言等等,反正做大模型的公司挺多的。
可以说所有的开源大模型都是它的信息学习对象。
不过说好听点叫信息提取,说难听点叫信息窃取
那假如美国那边反应过来了,说你这不就是偷我们的推理结果么?我们不开源了……
美国这么搞可以吗?有用吗?
答案是没用
因为就算美国不搞或者不开源了,中国也会搞
而且如果美国不开源了,他在竞争上就会被中国碾压。
所以deepseek可以说是长江后浪推前浪,后浪把前浪全部拍死在沙滩上了。










