request headers:作用是让爬虫伪装成用户,这样就不会被服务器拒绝了。(比较low的网站)
格式:封装一个字典传参即可。
eg:
import requests
url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'
headers = { user-agent:XXXXX} (用户信息在network,xhr,左边选一个,headers,request headers的末尾几行)
带参数请求数据
为什么? 因为翻页,链接要变化。
怎么办? 使用params,封装字典传参。
插入语: params的作用,就如同这里出现的一样,不用翻页啦。大概格式,就是封装字典传参。
另外,params是request模块中,get方法下的,一种参数。所以,具体格式就是 先封装字典,然后作为参数放在get方法里面。
实例:
import requests
url=cbsladubfsgbvo
params={’这个字典里面的键值对,是从Query String Parameters 拆分出来的‘}
r=request.get(’URL‘, params=pramas)
格式:封装一个字典传参即可。
eg:
import requests
url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'
headers = { user-agent:XXXXX} (用户信息在network,xhr,左边选一个,headers,request headers的末尾几行)
带参数请求数据
为什么? 因为翻页,链接要变化。
怎么办? 使用params,封装字典传参。
插入语: params的作用,就如同这里出现的一样,不用翻页啦。大概格式,就是封装字典传参。
另外,params是request模块中,get方法下的,一种参数。所以,具体格式就是 先封装字典,然后作为参数放在get方法里面。
实例:
import requests
url=cbsladubfsgbvo
params={’这个字典里面的键值对,是从Query String Parameters 拆分出来的‘}
r=request.get(’URL‘, params=pramas)


