之前用scrapy来抓取东方财富网的研报信息,现在来总结下！
1.文档:scrapy 一定要看英文官方文档,翻译的更新都不及时
2.分布式:主要配合scrapy-redis,通过redis来实现简单的分布式,这里面还要注意几个事项