由于项目需要，自学爬虫并应用了一段时间，目前使用分布式爬虫已爬取了大概五千万条数据。现在回过头总结写学习流程和经验。

学习过程主要分一下几个步骤