首先，在使用http上，就需要选择那些高匿名的IP，这类代理IP资源质量优秀，能用率高，能大概率保证网站的反爬机制不容易被触发，不容易将时间浪费。其次，在应用代理IP爬取数据时，最好是控制访问的频率，过高的访问频率及其容易造成 IP被封，不能彻底应用到IP的时长。若是不清楚最大允许的访问频率是多少，可先向目标网站进行测试。

但这样的话就很有可能产生一个问题：频率控制住了IP确实不容易被封，但不能完成每天的采集任务，如频率最大允许1小时600次，但每天的高达几十万，这时要怎么办呢?这就需要应用多线程采集的方式了。

应用多台设备，一次应用多个IP地址，同时采集，这样就进一步提高了效率。这就是爬虫用户应用http而不被封的一些小技巧，http也有降低延迟、当我们的防火墙等作用。比如IPIDEA，全球http代理服务器稳定ip量充足每日达到9000w，能够满足大量的需求，安全性也可以得到保障。

寻找渗透APP大牛一枚，提示实时数据，每个月给12W左右。联系企鹅：3555913506