python爬取大量数据(百万级)

当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断

进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。

***个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓

存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库

， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂

了，还用到了 db ，个人觉得***自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否

是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip

会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个

去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。

第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬

取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时

（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的

timeout 即可（30 秒），***在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改

动。

第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点

续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过

程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取

最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待

爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有

ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的

概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启

消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。

第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在

大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这

种偶尔中断的问就方便多了。

希望能帮到各位。

如何爬取网站上的某一信息？

两类网站可以用不同的方法去爬取

一、开放API的网站

一个网站如果开放了API，那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。

1、在站内寻找API入口；

2、用搜索引擎搜索“某网站API”；

3、抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。

二、不开放API的网站

1、如果网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不仅语法和css选择器类似，而且速度也挺快，Scrapy用的就是它。

2、如果网站是动态页面，可以先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。

数据爬取是什么意思

1、爬取数据的意思就是通过程序来获取需要的网站上的内容信息，比如文字、视频、图片等数据。

2、网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

3、网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

4、聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

更多关于数据爬取是什么意思，进入：查看更多内容

集搜客爬取数据方法

1.安装集搜客软件

2.确定目标网页地址，确定爬取内容类型：只涉及本网页内容列表还是需要层级爬取？层级爬取就是需要通过本页找到一个新的网址爬取新页面的内容。

3.工具的基本思路：同一个主题有多个规则，同一个规则可有多个整理箱，同一个整理箱里面有多个属性值（多列）

步骤：1.输入目标地址2.定义主题不重复和规则名3.制定改规则下的整理箱，将整理箱中的属性值和网页中的内容一一对应。4.定义规则里面的线索或者动作5.保存规则6打开打数台，输入想打的数据条数

问题1：怎么把相同的结构全部爬取下来，比如100条评论？

样例复制和定位映射 只能选择一种。原理不同：样例复制是选择 兄弟节点（一定是兄弟节点，在文本语言中紧挨着的，层级结构在同一层次上） ，告诉集搜客，都在什么跳到下一个采集同样的内容。定位映射是通过HTMl的class或者样式id等标记，将内容和样式标记对应起来。告诉集搜客遇到得很么标记的时候，采集的内容对应什么表桥。

问题2：怎么设置层级爬取？

***层级中找到@href标记为线索映射，在爬虫路径中写下 第二级的主题名 。保存***级主题之后，然后建立第二级主题的具体规则。

问题4：怎么翻页？有翻页标记或者无翻页标记。翻页更多问题：

翻页分为  

1：通过文字下一页或者数字，点击下一页爬取相同的内容，比如下一页的商品列表。 重点为：创建记号线索，将记号线索与相应内容对应（此部分内容本次没有实验，后期用的时候再改）

线索映射和线索区块的定位映射

2.通过文字或者标记点击下一页，爬取另一种网页结构：类似于层级爬取但是下一级的地址需要通过页面标记来找到。

3.通过鼠标滑动选择连续动作也称滚屏或者瀑布流：

3.1在连续动作工作台新建一个滚屏动作，因为滚屏后的网页结构没有变化，仍然可以用当前规则采集，所以这里的目标主题名就填写当前规则本身的主题名。3.2滚屏动作的参数可以根据自己的需要调试。滚屏动作的高级设置一般保持默认就行,滚屏参数说明：每次滚屏次数:每次执行滚屏动作，浏览器往下翻多少屏；总共滚屏数:执行滚屏操作的次数，达到总共滚屏数就会停止滚屏，-1表示无限制；

如果总共滚屏数设置成-1，就会一直滚屏停不下来，这时就必须在DS打数机上打开重复内容，这样当爬虫发现抓到的都是重复内容，就会停止滚屏动作。设置方法：点击DS打数机的高级菜单-终点标志-勾上重复内容。

4.模拟点击动作：

爬取数据是什么意思

问题一：爬数据 到底是什么意思 你是指蜘蛛程序抓取网页么？

通过分析网页的地址，用程序遍例出你所需要的地址。

通过对网页HTML标签的分析，抓取出你所需要的数据。

问题二：简单讲讲什么是“爬数据” 20分 spider程序的工作原理

问题三：有哪些网站用爬虫爬取能得到很有价值的数据 关键是价值 。价值对不同的人有不同的内涵的。

说实话，你要爬数据，几乎任何一个能看到的web页面，大部分程序都能给你爬到，打好包，分好类，做成数据表，或数据库，但这个数据，对我来说真没有太多用。所以这个问题并没有多少意义

问题四：如何利用python 爬取知乎上面的数据 #!/usr/bin/env python

# -*- coding: utf-8 -*-

# @Author: Administrator

# @Date: 2015-10-31 15:45:27

# @Last Modified by: Administrator

# @Last Modified time: 2015-11-23 16:57:31

import requests

import sys

import json

import re

reload(sys)

sys.setdef***ltencoding('utf-8')

#获取到匹配字符的字符串

def find(pattern,test):

finder = re.search(pattern, test)

start = finder.start()

end = finder.end()

return test[start:end-1]

cookies = {

'_ga':'GA1.2.10sdfsdfsdf', '_za':'8d570b05-b0b1-4c96-a441-faddff34',

'q_c1':'23ddd234234',

'_xsrf':'234id':'ZTE3NWY2ZTsdfsdfsdfWM2YzYxZmE=|1446435757|15fef3b84e044c122ee0fe8959e606827d333134',

'z_c0':'QUFBQXhWNGZsdfsdRvWGxaeVRDMDRRVDJmSzJFN1JLVUJUT1VYaEtZYS13PT0=|14464e234767|57db366f67cc107a05f1dc8237af24b865573cbe5',

'__utmt':'1', '__utma':'51854390.109883802f8.1417518721.1447917637.144c7922009.4',

'__utmb':'518542340.4.10.1447922009', '__utmc':'51123390', '__utmz':'5185435454sdf06.1.1.utmcsr=zhihu|utmcg=(referral)|utmcmd=referral|utmcct=/',

'__utmv':'51854340.1d200-1|2=registration_date=2028=1^3=entry_date=201330318=1'}

headers = {'user-agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) Ap......

问题五：如何系统的学习从网上爬取数据，文本，以及分析 说起这个话题，我上半年很重要的一部分工作就是开发了一个大型的分布式爬虫系统和一个新闻热点分析工具。因此，你的问题我最有发言权，我简单说说我的做法，我是把主要的导航网站找来，把它们关于新闻资讯的网站地址全拿来筛选一遍，选出有代表性的主流媒体网站和地方资讯网站，然后让爬虫系统去爬取4~5层深度的页面数据回来做分析测试数据，为避免无关数据干扰和加快爬取速度，我在爬行时，采用正则表达式和关键词过滤链接地址和正文内容。数据爬回来后，可用的分析算法很多，分词处理后，我一般用聚类算法、规则关联算法这些。

问题六：如何爬取网页表格数据 用be***tifulsoup4

resp = urllib.request.urlopen(yoururl).read().decode(“utf-8”)

soup = bs4.Be***tifulsoup(resp)

soup.findall(table, {width: 550})[0]

然后做你想做的就行了。如果不懂语言，直接找某宝中的楚江数据，可以代写爬虫，也可以直接让他们爬取数据。

问题七：爬虫爬取的页面，需要登录之后才能爬取数据，我该怎么办 用前嗅的ForeSpider数据采集软件可以采集登录后才能采集的数据。在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了。可以设置自动登录，下次爬虫还会自动登录这个网站。

可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的案例。帮助文档里也有登录的配置步骤。

问题八：有哪些网站用爬虫爬取能得到很有价值的数据 一般有一下几种

一些常用的方法

IP代理

对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.

网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.

网络有高质量的代理IP出售, 前提是你有渠道.

因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(Ra***itMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.

cookies

有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套cookies池

注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies

限速访问

像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.

一些坑

大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.

一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.

当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.

当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.

问题九：网络爬虫中爬取数据怎么将概览和细览联系起来 采集过程中一般都是通过URL来关联

问题十：有哪些网站用爬虫爬取能得到很有价值的数据 一般有一下几种 一些常用的方法 IP代理 对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了. 网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上. 网络有高质量的代理IP出售, 前提是你有渠道. 因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(Ra***itMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP. cookies 有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套cookies池 注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies 限速访问 像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容. 一些坑 大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的. 一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等. 当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件. 当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.

如何使用Excel完成网站上的数据爬取

注意：本章节主要讲解数据获取部分

将网页中展示的数据爬取到可以编辑的文本工具中从而实现批量操作。在具体的爬取过程中，经常使用的根据有Excel和Python。

该板块由三个模块组成：

在爬虫过程中，最为常用的浏览器为谷歌浏览器和火狐浏览器。

实操步骤：

1.获取浏览器标识

以谷歌浏览器为例：

打开浏览器输入目标网站后，右键点击检查（快捷键Ctrl+Shift+I(注：不是L,是I)），在检查页面中点击Network后重新加载页面，在检查Network页面中单击***个网页信息：index.html。在右边出现的窗口Headers中，将页面拉至底部可查找到浏览器标识UserAgent，复制UserAgent信息即可。

2.设置响应时间（位置用户浏览）

新建Excel并打开，点击自网站，在弹出的窗口中选择高级选项，将我们需要爬取的目标网址信息粘贴到Url位置处，同时在响应时间栏中设置1分钟的响应时间，

3.设置浏览器标识

在HTTP请求标头参数中下拉选择UserAgent，粘贴浏览器的UserAgent信息。

4.将数据载入到Power Query中进行预处理，建立网页链接后，选择数据Table0，选择编辑进入Power Query中进行数据预处理。处理完数据后，依照惯例，制作可视化地图。

爬取的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于爬取数据是什么意思、爬取的信息别忘了在本站进行查找喔。