搭建免费的代理ip池需要解决的问题:使用什么方式存储ip文件存储缺点:打开文件修改文件操作较麻烦mysql缺点:查询速度较慢mongodb缺点:查询速度较慢.没有查重功能redis-->使用redis存储最为合适所以->数据结构采用redis中的zset...

来源：博客园 2022-07-07 07:00 285

前言随着大型网站反扒机制的增强，更改IP登陆已经成为一种最高效的方式，为此打造一款超强IP池项目，采用最新最快的Python技术——异步（Async）。编写了一个免费的异步爬虫代理池，以Pythonasyncio为基础，充分利用Python的异步性能，异步处理比同步处理能提升成百上千倍的效率，速度....

来源：博客园 2020-08-15 14:30 248