二、浏览器数据采集
网络数据采集主要是通过互联网爬虫或公共网站所提供的API来获取所需的数据，从而为人们提供可进一步分析的系统化数据。目前常用的网页爬虫系统有Apache Nutch、Crawler4j、Scrapy等框架。由于采用多个系统并行抓取数据，这种方式能充分利用机器的计算资源和存储能力，大大提高系统抓取数据的能力，同时大大降低了开发人员的开发速率，使得开发人员可以很快的完成一个数据系统的开发。