【定向爬虫】爬帖吧的帖子

大家可以试试，爬帖吧的帖子，
贴吧页面是 Javascript 动态生成的内容，所以使用urllib2，mechanize， scrapy都不行
最后使用webkit模拟浏览器打开，使用scrapy框架 + django实现爬贴

项目结构：

@魔幻蓝晶

2025-04-21 08:59广告

大神好

看起来好复杂。

先留个记号，本人初学python

同mark

那个wap界面应该比较好爬？

马克.
p.s. 能否求源码?1815856485@qq.com
不知楼主如何解决帖子内容页面的头像图片链接地址,用xpath获取用户头像地址,老是获取不完整

2025-04-21 08:59广告

LZ能分享下源码么

我是这样爬的，不过奇怪的是所有标题都重复了，大有修正空间。

wap版不是更容易？

下载贴吧APP
看高清直播、视频！

分享到: