ip被封锁和限制的问题，如何解决采集数据 IP 被封锁限制的难题以破解天眼查 网络爬虫 为例，3个月前用python开发了一套天眼查分布式网络爬虫系统，实现对天眼查网站的数据进行实时更新采集。

　　1、第一步分析目标网站数据模块：

　　在采用python3写网络爬虫程序开始爬天眼查数据时，第一步要求先分析这个网站有那些数据模块，整个网站有主要核心数据有以下19大模块：1基本信息、2法人代表、3主要成员、4股东&出资、5变更记录、6公司年报、7司法风险、8舆情事件、9岗位招聘、10商品信息、11网站备案、12商标数据、13专利数据,、14作品著作权软件著作权、对外投资关系、税务评级、行政处罚、进出口信用、企业评级信用等十九个维度的企业数据

　　2、写一个网络爬虫demo模型分析网站的页面结构和代码结构

　　模拟http请求到天眼查目标网站，看看天眼查响应的的数据信息是什么样子？当正常访问时是可以很轻松得到列表的数据以及进入列表的详细链接，在通过链接采集得到每个企业的详细的数据包。

　　3、采集速度太频繁了，会被封锁限制IP难题怎么解决

　　当发出去的http请求到天眼查网站时，正常情况下返回200状态，说明请求合法被接受，而且会看到返回的数据，但是天眼查有自己的一套反爬机制算法，如果检查到同一个IP来不断的采集他网站的数据，那么他会被这个IP列入异常黑名单，您再去采集它网站数据时，那么就永远被拦截了。怎么解决这个难题呢，其实很简单，没有错用 代理服务器 ip去访问，每一次请求时全全部全部都采用代理服务器ip方式去请求，而且这个代理服务器ip是随机变动的，每次请求全全部全部都不同，因此用这个代理服务器ip技术解决了被封锁限制的难题。