Windows环境下edge浏览器点击下载没有反应

北风之神c:

总结的很全面的爬虫，写得赞，博主用心了。

此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html 加到爬虫更强更自由更简单 。

funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，并且对爬虫函数施加30种控制功能,

例如 qps恒定 任何时候随意关机重启代码消息万无一失确认消费 非常简单的开启多进程叠加线程/协程,这些强大的功能绝大部分爬虫框架还做不到。

此框架如果用于爬虫，不管从任何方面比较可以领先scrapy20年，也比任意写的爬虫框架领先10年。

主要是思维问题，爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，

所以有些奇葩独特的想法在那种框架里面难以实现，需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。

而此框架是函数调度框架，函数里面可以实现一切任意自由想法，天生不会有任何束缚，主要还是思想问题，国内一般人设计的爬虫框架都是仿scrapy api，天生不自由受束缚。

使用funboost， 与 用户使用爬虫框架或者手写多线程爬虫相比， funboost都代码更少更强更简单更自由。

pip install funboost

或者是直接使用 pip install boost_spider (powerd by funboost)，boost_spider比funboost增加了更加专门的针对爬虫请求和解析和存储。 https://github.com/ydf0509/boost_spider