琪露诺吧 关注:24,321贴子:274,688
  • 9回复贴,共1

本吧成员统计与初步分析——贴吧机器人泛滥与年久失修

取消只看楼主收藏回复

一楼惯例
不过没啥相关的图就不放图了


IP属地:山西1楼2019-04-15 16:41回复
    学完python后想受一些大牛启发想做个人群兴趣分析,因为贴吧好爬取并且复杂度低所以选了贴吧,这个工程本来目标是计划爬取几个贴吧的人所关注的吧通过回归分析来确定两个话题关注人群是否重合,但是有些事后知后觉,比如反爬虫和dns解析导致的卡死,正则表达式二重转换,贴吧的大量机器人,隐藏足迹,水军判断(。﹏。*),还有我之前不知道可以没有等级,超过15级。。。。。( _ _)ノ|一言蔽之:改bug改到死。。。。
    所以很多想法得等到第三版了,比如最重要的人群重合分析。


    IP属地:山西2楼2019-04-15 16:41
    回复
      2025-08-17 10:44:17
      广告
      不感兴趣
      开通SVIP免广告
      不过我还是有些东西想先说一下,比如机器人( ̄_, ̄ ),其他的v0.3之后再说吧
      巴里一共的人数没有数,所以拿百度给出的计算,其中4741已注销或已封号(多半是机器人,30页-130页之间很多这样的,点进个人空间提示找不到页面)还有一连些好几页的人的信息一摸一样(关注的吧,等级)有可能也是机器人或者水军。比如我算法得到的这几个吧


      IP属地:山西3楼2019-04-15 16:42
      回复


        这一文件夹里的人基本都是上面那样的


        IP属地:山西4楼2019-04-15 16:47
        回复
          还有高级一点的。。。。连续好几页名字是一串数字和字母序列,关注的吧不同,但是没有超过五级的。。。。
          所有这些人都有一个共同点——没头像。。。



          IP属地:山西5楼2019-04-15 16:50
          收起回复
            通过累加每个成员的等级得到每个吧的权重,如下:
            ⑨吧和东方吧在关注人数相近的情况下差了这么多,只能说明大家都去东方吧水贴去了


            IP属地:山西7楼2019-04-15 17:04
            回复
              先去吃饭,我打赌等我回来都不会有人回帖的


              IP属地:山西8楼2019-04-15 17:05
              回复
                果然没人回帖
                看来真的这个吧活跃的人太少了


                IP属地:山西9楼2019-04-15 17:47
                回复
                  2025-08-17 10:38:17
                  广告
                  不感兴趣
                  开通SVIP免广告
                  居然加精了( •̀ ω •́ )✧
                  本来就只是想水一下的,程序还没写完,还有回归分析部分,没想到啊。


                  IP属地:山西21楼2019-04-16 18:05
                  回复
                    补充:
                    昨天回去看了一下,之所以本吧的成员列表里面的人没有关注本吧,是因为关注的吧,实在太多了,而百度限制只能显示20个。当时写这个程序的时候,一开始没有发现百度的数据摆的这么乱,怪不得那帮大牛们都去研究B,P站标签,没有去研究这种东西( ╯□╰ )所以说用常规的方法是注定收集不到完备的资料的,这个程序所分析的结果只能作为一个参考。程序其实还没写完,再说吧。
                    总结起来,我发现的就是以下几点:
                    1. 贴吧的机器人泛滥,而且形式多样。
                    2. 相对于其他的吧而言,本吧的活跃度很低。因为吧友相较于关注的其他贴吧而言,本吧的等级偏低。
                    3. 和本吧关联度最高的果然还是其他东方相关贴吧,不过比较有趣的是,关注李毅吧,和mine craft吧的人也比较多。不知道原因。


                    IP属地:山西22楼2019-04-16 18:08
                    回复