我目前需要爬取一些网页上的指标，其中有一个是判断网页中是否有robots.txt文件，这个指标我的判断的方法是访问’http://www.baidu.com/robots.txt‘，根据其response.code判断，但是我想把这个指标和其他指标放到一个item里，请问应该怎么做。
我本想用yield scrapy.request（‘http://www.baidu.com/robots.txt’）来操作，但是获取不到其返回值，而且yield和return不能同时存在，望各位大佬解答一下，万分感激。
鄙人QQ642026725，欢迎各位大佬指导，萌新不胜感激
我本想用yield scrapy.request（‘http://www.baidu.com/robots.txt’）来操作，但是获取不到其返回值，而且yield和return不能同时存在，望各位大佬解答一下，万分感激。
鄙人QQ642026725，欢迎各位大佬指导，萌新不胜感激
