网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
成为超级会员,使用一键签到
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
12月25日
漏签
0
天
python吧
关注:
480,332
贴子:
1,982,140
看贴
图片
吧主推荐
视频
游戏
首页
上一页
1
2
28
回复贴,共
2
页
,跳到
页
确定
<<返回python吧
>0< 加载中...
回复:python爬虫入门系列贴 5行代码爬取豆瓣电影本周排行榜
只看楼主
收藏
回复
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
现在访问192.99.71.91,我就能看到Django的示例页面
2025-12-25 17:15:16
广告
不感兴趣
开通SVIP免广告
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
没骗你吧? 好了,看一眼能用就ctrl+c把服务器关掉。
然后,再建立一个app
所以,现在我有一个Django项目,叫python_spider, 它里面有个app叫web.
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
第二部分,编写爬虫。
工欲善其事,必先利其器。
当然了,现在我要想一个采集的目标,为了方便,我就选择segmentfault吧,这网站写博客不错,就是在海外上传图片有点慢。
这个爬虫,就像我访问一样,要分步骤来。 我先看到segmentfault首页,然后发现里面有很多tags,每个tags下面,才是一个一个的问题的内容。
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
2.1 编写内容爬虫
首先,给爬虫建立个目录,在项目里面和app同级,然后把这个目录变成一个python的package
以后,这个目录就叫爬虫包了
在爬虫包里面建立一个spider.py用来装我的爬虫们
一个基本的爬虫,只需要下面几行代码:
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
然后呢,就可以玩玩我们的“爬虫”了。
进入python shell
看吧,我现在已经可以通过爬虫获取segmentfault的提问标题了。下一步,为了简化代码,我把标题,回答等等的属性都写为这个蜘蛛的属性。代码如下
然后,再把玩一下升级后的蜘蛛。
OK,现在我的蜘蛛玩起来更方便了。
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
2.2 编写分类爬虫
下面,我要写一个抓取标签页面的问题的爬虫。
代码如下, 注意下面的代码是添加在已有代码下面的, 和之前的最后一行之间 要有两个空行
现在可以两个蜘蛛一起把玩了,就不贴出详细把玩过程了。。。
想做小偷站的,看到这里基本上就能搞出来了。 套个模板 加一个简单的脚本来接受和返回请求就行了。
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
第三部分,采集入库。
3.1 定义数据库(or model or schema)
为了入库,我需要在Django定义一个数据库的结构。(不说nosql和mongodb(也是一个nosql但是很像关系型)的事)
还记得那个名叫web的app么,里面有个叫models.py的文件,我现在就来编辑它。
2025-12-25 17:09:16
广告
不感兴趣
开通SVIP免广告
fy____fy
贡士
6
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
内容如下:
不二是个暖男♌
进士
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
顶!
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示