您的位置:首页 > 新闻资讯 >文章内容
代理ip爬虫时为什么会出现499错误?
来源: 作者:admin 时间:2019-10-30 14:40:41

    代理ip出现问题就是质量不好吗?很多朋友有这样的疑问,使用代理ip爬虫时出现了499错误,当时很着急的问我是什么原因出现这个问题,遇到问题不需要着急,可以冷静的找出问题,现在主要是逐一排查和了解到499错误是什么原因导致的。


    我便询问这位朋友,我说使用api能正常提取到ip吗?他说可以,随后我又询问他,有没有猛烈通过api调用服务器获取ip,他说是正常间隔10秒提取,那么我让他使用api提取到的ip使用浏览器测试一下是否ip有效,过了几分钟的测试后,ip在浏览器设置中使用也完全没有问题。那么我们可以排查出api通过可以正常的提取到ip,ip也有效,这就足以说明代理ip服务器没有问题,这样就大大的缩小了问题排查的范围。


    首先我们来了解一下499错误是什么问题导致的;


代理ip爬虫时为什么会出现499错误?


    当客户端主动断开连接的时候,nginx就会返回499的状态码。一般情况下和请求的超时设置有关系,比如用户用浏览器访问某个网页的时候,如果在nginx还没有处理完请求的时候,用户就关闭了网页活着浏览器,则这个时候,nginx就会以499的状态码进行影响,标明客户端主动断开了连接。


    首先我们看看nglnx的源码中的定义:


    解决方案:


    proxy_ignore_client_abort on;


    Don’t know if this is safe.


    就是说要配置参数 proxy_ignore_client_abort on


    表示代理服务端不要主要主动关闭客户端连接。随后以此配置重启nginx,就可以解决这个问题了。


    遇到问题的时候先冷静下来分析问提,才有可能解决问题。


相关文章内容简介
在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部