目录
  1. 1. 代码构成
    1. 1.1. item.py
代理IP池的构建

最近开始学scrapy的使用,总的来说框架使用起来还不错,毕竟使用了异步架构,效率挺高的。底层还没看,再学点去读源码。

成果

本来计划爬西刺代理构建好代理IP池然后再去爬其他网站数据,结果我是想多了,免费的不靠谱啊,没有合适的IP不说,还封我IP!!!!WTF!!!!!!!!!

😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔😔

2019/03/29-->哈哈哈,换了个站(zdaye)的IP有效率不错

代码构成

默认采用scrapy创建项目就可以了,会自动构成一套完整的代码

1
scrapy startproject IP_POOLS

项目目录:

项目目录

item.py

1
2
3
4
5
6
7
8
9
10
11
class IpPoolsItem(scrapy.Item):
country = scrapy.Field()
ip = scrapy.Field()
port = scrapy.Field()
server_location = scrapy.Field()
is_high_anonymous = scrapy.Field()
ip_type = scrapy.Field()
speed = scrapy.Field()
connect_time = scrapy.Field()
survial_time = scrapy.Field()
check_time = scrapy.Field()

根据最后要存在数据库中的属性,

文章作者: ZyTomorrow
文章链接: https://zytomorrow.top/2019/03/28/dai-li-ip/dai-li-ip-chi-de-gou-jian/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Tomorrow
打赏
  • 微信
  • 支付寶

评论