小白求助，关于requests.get()获取网页源码不全的问题

刚学了用BeautifulSoup 模块解析 HTML，心血来潮，想抓取上证指数试试

，毕竟上证又一次刷新新纪录，代码如下：
通过requests.get()获取网页，发现获得的网页源码比浏览器里少了一大堆东西，想抓的信息是一个也没。查阅了很多资料，给headers里加Cookie以及先存.txt后读取，均无果。请求大佬能帮我看看

下图依次为代码、requests.get()获取网页源码和浏览器中网页源码：

整了一晚上，没整明白，气的睡不着

不感兴趣

开通SVIP免广告

说明这个网页有一部分的数据是使用JavaScript异步渲染的，建议使用selenium

接口没找对，这种最可能是返回的是json数据，由js加载的

楼上说的对顺便这种直接找json接口更方便处理

有没有一种可能网站数据是JS动态刷新的，你抓的是静态页面

明白了，这么操作确实抓的静态页面，感谢各位大佬捧场

小菜，现在大部分网页都是webpack，都在js 里面

不感兴趣

开通SVIP免广告

自己去找一下Fetch/XHR就能找到数据接口了，格式都是JSON，JSONPath可以比较方便地定位你需要的元素

下载贴吧APP
看高清直播、视频！

分享到: