❶ 如何应对网站反爬虫策略如何高效地爬大量数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.
❷ 怎么可以防止网页被抓取 - 技术问答
看你的需求了，可以搞得很复杂，也可以搞得很low。之前是做采集的，算不上大神级别。不过可以说80%以上的H5、网页、app可以搞定。单击和分布式爬虫都弄过。日采集上千万数据的不少。覆盖也比较广，视频、电商、新闻、舆论分析类等等。总结起来，每个网站的难度都不一样，99%数据是可以抓取到的。网络就是国内最大的爬虫，所以想要完全禁止的，除非服务器关了，数据删了。否则要采集的手段太多了，无外乎就是出于成本上的考虑。
反爬虫也是需要付出成本的，包括了体验差导致用户流失，内部用的走内网。给用户用的只能做到减少，如果你的数据很有价值，建议是请一个有实力的技术做一些防护。网络上能回答的基本是有解的。
总结一下：反爬只能防君子，防不了小人，可以加大难度，方法也有很多。不过也只是加大采集成本
❸ 有哪些方法可以反爬虫
从事互联网工作者都比较清楚，网络爬虫对于互联网的共享是非常大的，其中有超过一半的流量都是网络爬虫的贡献，如果一个网站不设置防爬机制，那么所有的信息都会透明公开化，所以几乎所有的网站都会设置防爬机制，今天介绍一部分常见的反网络爬虫以及应对反网络爬虫的突破方法，但是还是要提醒大家不要恶意进行爬取。
动态页面的限制，爬虫工作者可能会遇到这样的尴尬，当你抓取下目标页面之后，你发现，关键信息处一片空白，只有密密麻麻一片的框架代码，这是因为该网站的信息是通过用户Post的XHR动态返回内容信息，解决这种问题就是要通过开发者工具（FireBug等）对网站流进行分析，对内容信息进行抓取，获取所需要的内容。
用户行为检测，有一些是网站通过检测和分析一些用户的行为，比如说是针对cookies，通过检查cookies来判断用户是不是可以利用和保存的有效客户，通常是需要登陆的网站，经常会采用这样的技术。层次再深的还有，信息验证，部分网站的登陆是需要验证吗的验证的，就像登陆的时候，系统会自动分配出验证码，authenticity_token，authenticity_token会和用户提交的登录名和密码一起发送回服务器。
IP的访问频率被限制，一些平台为了防止多次访问网站，会在某个同一个IP在单元时间内超过一定的次数的时候，将禁止这个IP继续访问。对于这个限制IP访问效率，可以使用代理IP的方法来解决问题比如使用IPIDEA。
以上简单的说了三种常见的反爬虫已经反爬虫的应对方法，一般来讲越高级的爬虫被封锁的机率救会越低，但是性能会比较低一些。
❹ 有些网站反爬措施很严重，说是前嗅的爬虫能够解决，具体怎么操作呢
网站跟网站的差别很大的，反爬虫措施也都不一样，不知道你要采集什么网站。我使用过前嗅的软件，确实很好用，对于电脑小白来说比较简单，而且像你说的反爬虫厉害的网站他们还能定制采集服务。
❺ 现在不需要爬墙的国内社交网站有哪些
微信，陌陌，qq,，微博，遇见，微密，msn，gagamatch
最后两个上面外国人多，不要爬墙
❻ 哪些网站限制网络爬虫
一些不希望爬虫经常更新的网站，比如静态页面的网站，没必要让爬虫更新
大的网站全都是实名抓取呢
还有taobao
❼ 如何应付重度反爬虫的网站
可以试试前嗅的ForeSpider采集系统。像很多重度反爬虫的网站都能采，比如企业信息公示系统、自然基金会网站、58同城的电话号码什么的。
ForeSpider数据采集系统具备全面的采集范围、精准的数据精度、绝佳的抓取性能、简易的可视化操作、智能的自动化采集，使企业能够以很少的人工成本，快速获取互联网中结构化或非结构化的数据。
软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。软件首创了面向对象的爬虫脚本语言系统，如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。
台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与网络等搜索引擎系统媲美。
一．软件可以采集的范围：
1.登录和cookie
支持自动登录，自动获取cookie信息。
2.验证码
接入第三方打码平台，最多3秒自动返回大码结果。
3.搜索栏检索
支持各种搜索栏检索关键词，可批量导入数十万关键词。
4.各种协议
支持http、https、各类APP的协议等。
5.JavaScript和Ajax动态生成的内容
支持所有JavaScript生成的动态内容。
6.IP代理
支持IP代理，不用担心封锁IP。
7.post请求和OAuth认证
支持post请求和OAuth认证的网页。
8.搜索引擎全网数据挖掘
可以通过一个模板，采集搜索引擎，挖掘所需数据。
二．软件不能采集的范围：
1.非公开数据
网络爬虫技术是一种批量数据下载技术，不是黑客技术，只能采集前端浏览器上能显示的数据内容，对于网站的服务器后端数据，如用户数据等，是不能采集的。
对于需要账号登录才能查看的内容，如果您有账号可以登录，是可以采集该账号下可见数据的；对于其他账号下的内容，也同样不能够采集。
2.需要手机扫码的数据
对于需要扫码后才能显示的数据，无法实现批量采集。
3.对于账号有权限限制的数据
有些网站限制一个登陆账号一天只能查看x条数据，如果用户没有多余的账号，是无法突破这样的限制的。
❽ 可以用爬虫来获取一些网站的内容，那么一些网站会做反爬虫程序么难做么会对搜索引擎造成什么影响
正规情况下可以用robots协议阻止搜索引擎爬取网站
但并不是所有的搜索引擎都遵循robots协议(某些知名搜索引擎也不遵守，该协议不是强制遵循的)
一般反爬虫的程序最简单的方法就是通过UserAgent识别爬虫，但并不是所有爬虫都有明确的UserAgent，还有些不知名的搜索引擎不设置自己独有的UserAgent，同时UserAgent也可以被任意的伪造，所以并不能保证完全过滤一些爬虫。
为了更进一步识别爬虫，只能通过限制某个IP的访问，如果IP在变化也很难阻止其爬行，仅能根据一些访问行为进行分析是否为爬虫自动抓取，如果是爬虫，则可以用一个403返回码阻止网页的显示。这样搜索引擎抓到的页面都是403错误页面，具体内容无法抓取。
如果有人专门想要抓取你的网站内容，它可以专门定制一种策略来想办法模拟人工访问，很难做到彻底阻止。
❾ 如何防止网站被爬虫爬取的几种办法
相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？
1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2、基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。
3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。
User-agent: *
Disallow: /
4.使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：
编辑nginx.conf
拒绝以wget方式的httpuseragent，增加如下内容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑启动
# /usr/local/nginx/sbin/nginx -s reload
如何拒绝多种httpuseragent，内容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小写敏感匹配
### 大小写敏感http user agent拒绝###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小写不敏感http user agent拒绝###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意语法：~*表示是大小写不敏感，~表示是大小写敏感
}
以上就是预防网站信息被别人爬取的一些方法，大量的爬取行为会对web服务器的性能有影响，所以一定要注重反爬虫措施。
❿ 如何应对网站反爬虫策略如何高效地爬大量数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.