deepseek吧 关注:136,309贴子:377,883

回复:『深度测评』市面主流国产模型横评

只看楼主收藏回复

这么看豆包1.6还可以啊,虽然参数量小但是效果还不错


IP属地:广东来自Android客户端17楼2025-08-22 10:53
收起回复
    哦对,楼主知道豆包大模型有往教育方向发展的趋势吗,针对教科书内容进行了针对性的后训练


    IP属地:广东来自Android客户端18楼2025-08-22 10:55
    收起回复
      2026-01-18 07:27:31
      广告
      不感兴趣
      开通SVIP免广告
      接下来是第八轮测试,多轮对话&记忆一致性,这一轮测试下来除了deepseek-r1,各个模型的水平都差不多,那是因为它的上下文比较短,而且是半年前的模型了,有时候还会因为幻觉并造出不存在的信息,因此分数较低。


      IP属地:江苏来自手机贴吧19楼2025-08-22 10:55
      回复
        然后是第九轮测试,上下文能力测试,这里楼主给了一个一万字的文档,并且要求他们对文档中的内容进行作答,测试下来的结果也是不分伯仲


        IP属地:江苏来自手机贴吧20楼2025-08-22 11:00
        回复
          最后是第十轮测试,效率&成本。这里API的成本权重只有百分之十,指纹测试的还是综合条件下(带深度思考)模型输出的速度,输出速度在30token/s以上就算满分,每题平均测试三次,取平均值作为结果


          IP属地:江苏来自手机贴吧21楼2025-08-22 11:02
          回复
            这里除了deepseek(平均速度为18token/s),其他的模型都达到了满分速度,有些模型甚至能稳定在70token/s


            IP属地:江苏来自手机贴吧22楼2025-08-22 11:04
            回复
              ds的幻觉还是有点严重啊,v3.1感觉稍微好了点。


              IP属地:广东来自Android客户端23楼2025-08-22 11:04
              收起回复
                glm4.5的进步也不小,比4.1好多了


                IP属地:广东来自Android客户端24楼2025-08-22 11:06
                回复
                  2026-01-18 07:21:31
                  广告
                  不感兴趣
                  开通SVIP免广告
                  最后是总分方面,一共100题,每题一分,我先贴出带gemini的图,这里可以看到,在日常使用的情况下,国产的模型不比gemini差多少


                  IP属地:江苏来自手机贴吧25楼2025-08-22 11:08
                  回复
                    这张图是不带gemini的结果


                    IP属地:江苏来自手机贴吧26楼2025-08-22 11:08
                    回复
                      大家如果觉得测评帖质量不错的话,请多多点赞评论,让更多人看到


                      IP属地:江苏来自手机贴吧27楼2025-08-22 11:10
                      回复
                        豆包和千问的主要问题是思考时间太长了,虽然分数高,但是很影响体验。


                        IP属地:广东来自Android客户端28楼2025-08-22 11:14
                        收起回复
                          @MAGA-AI还挺酷 技术贴,申请加精


                          IP属地:河南来自Android客户端29楼2025-08-22 11:29
                          回复
                            辛苦了


                            IP属地:安徽来自Android客户端30楼2025-08-22 12:41
                            回复
                              2026-01-18 07:15:31
                              广告
                              不感兴趣
                              开通SVIP免广告
                              厉害


                              IP属地:广东来自Android客户端31楼2025-08-22 12:58
                              回复