您的位置:首页 > 新闻资讯 >文章内容
反爬虫手段都有哪些?
来源: 作者:admin 时间:2019-10-31 15:21:46

    做多了爬虫都知道,写一个爬虫大部分时间不是在代码上,而是在分析网页上,这里把平时积累的一些反爬虫策略分享出来,均来自本人和同事推荐,并不定时更新,欢迎点赞和收藏。

反爬虫手段都有哪些?

    首先我们先站在对方的角度


    想一想


    假如我们现在有一个网站


    这个网站有些关键的数据信息


    不想给别人那么轻易的爬取到


    你会怎么做呢?


    目前常见的、隐蔽的反爬取手段,包括了如下几种


    css加密


    cookies验证策略


    IP检测策略


    浏览器识别策略


    隐藏数据策略


    验证码等等


    根据headers设置反爬虫


    从用户请求的headers反爬虫是最常见的反爬虫策略,很多网站都会对headers的user-agent进行检测,还有一部分网站会对referer进行检测(一些资源网站的防盗链就是检测referer),如果遇到了这类的反爬虫机制的话,可以直接在爬虫中添加headers,将浏览器的user-agent复制到爬虫的headers中,或者将referer值修改为目标网站域名,对于检测headers的反爬虫,在爬虫中添加headers就能很好地绕过去。我们可以在浏览器的开发者选项中找到这个参数,并且把这个参数的值放到get请求中的headers字典中即可。


    ?通过cookie进行反爬虫


    服务器可以利用Cookies包含信息的任意性来筛选并经常性维护这些信息,以判断在HTTP传输中的状态。Cookies最典型的应用是判定注册用户是否已经登录网站,用户可能会得到提示,是否在下一次进入此网站时保留用户信息以便简化登录手续,这些都是Cookies的功用。另一个重要应用场合是“购物车”之类处理。用户可能会在一段时间内在同一家网站的不同页面中选择不同的商品,这些信息都会写入Cookies,以便在最后付款时提取信息。


    解决办法:


    ?可以在headers中加上cookies字段


    可以使用requests中的session


    可以利用cookie池


    根据用户行为设置反爬虫


    还有一部分网站是通过用户的行为,例如同一个ip短时间内多次访问同一个页面,或者是同一个账户短时间内进行相同的操作。


    大多数网站都是前一种情况,对于这种情况,使用ip代理就可以解决,比如:智联代理,迅代理和战大爷这样的正规代理服务商,有了大量的代理ip之后,可以每请求一次就更换一个ip,这在requests或者urllib2中很容易做到,这样的话就可以很容易绕过第一种爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒之后在进行下一次的请求,有些有逻辑漏洞的网站,可以通过请求几次就退出重新登录,继续请求来绕过同一个账户短时间内不能多次进行相同请求的限制。


    根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了,我们根本没办法构造自己所需要的数据的请求。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


相关文章内容简介
在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部