在工作的这么多年中，其实有很少能接触到挑战自我的项目。在小公司当个小组长，无非就是curd、部署项目、搭建gitlab、review同事代码等繁琐的工作，偶尔写写前端。大公司的话，工作内容其实就没这么繁琐了，部署项目有运维，页面有前端同事，review有部门leader，工作中80%的时间都是curd，当然会有一些小型的基于需求的项目来做，但都是能力范围之内的。
在我这短暂的开发生涯中，还真就遇到过那么一次让我觉得非常有挑战性的事，那就是从php转python，从0到1实现爬虫架构。从结果上来说，虽然达不到100%的爬取成功率，但整个过程也可以说是倾尽了全力，当然这也是我为数不多的我绞尽脑汁想完成的项目（主要是这个项目完成之后的绩效比较诱人，咳咳咳~），而且我对新东西、新事物都有种想挑战一下的心态。
今天就来讲一下我是怎么从0到1实现整个爬虫架构的。
首先声明：我是主导者、也是参与者，当然后期还有更专业的python同事一起加入，帮我调优，给我优化意见，最终才合力完成的这个项目，不是我一个人的功劳。
众所周知，SQL文化博大精深，SQL优化那阵算得上百花齐放，啥样的优化方式都有。而我虽然天天干着CURD的工作，和SQL天天打交道，其实说句实话，对SQL优化确实所会不多，只能算的上是皮毛。
这不，什么不会就来什么，刚入职还在试用期的时候，老大派来一个任务
：“小陈，我们有个开户的流程，从其他平台迁移过来，你对接下”
：“好的，老大”
：“对了，还有一个开户的动作，特别慢，要半小时甚至更久才能完成，你顺便优化一下”
：“好的”
什么开户？什么流程？什么优化，刚接到这个问题的我也是一头雾水，后面再深入了解了一下，大概明白了这个问题的来龙去脉
不管是在电商系统、还是物业系统中都会存在一个账单的东西，账单号是每一个账单的标识，这个标识是唯一的、且不可重复的。
在电商系统中，账单号就等同于订单号；在物业系统中，账单号就是每一次向业主催缴费的账单。
这个账单号一旦重复结果可以说是灾难级的，在物业系统中，收费的时候，明明不是这个业主的钱，怎么多算了；而另一个业主的钱甚至少算，或者该缴的费用被其他业主缴了等等，涉及到钱的问题那就是大问题了。
这篇文章，我们就来具体分析下这个问题，并给出解决方案。
在我从事的工作经历中，其实接触的电商行业还挺多的，大概占经历的6、70%左右。
而在电商项目中，用到缓存的场景就很多了，像数据缓存、CDN缓存、页面缓存等等，redis是最常用的key-value数据库了，memechache虽然和redis同样都是内存数据库，但是使用的最多的还是redis。
在使用redis之前，先简单了解下redis的特点和数据结构吧；
有时候在安装PHP的时候，会漏掉一些平时不太常用的扩展，到以后再要去安装的时候，时常会因为版本不对出现各种问题，本文主要介绍一下通过简单几步安装扩展的方式。
2020已经过去快两个月了，才有（想）时（起）间（来）写一下过去一年的总结。其实在年初的时候，各大社区在做有关【2020总结】的时候就想参与一下，但是一直没有提起日程。对于过去一年的回顾以及新的一年的展望就从这篇文章开始吧。
为了简化后续爬虫项目上线的步骤和流程，把爬虫API和定时任务的项目整合在一块了，由于涉及到相关的服务较多，也需要遵循修改服务、启动的先后顺序（不然该启动的服务没开，后续相关的服务受影响就尴尬了），所以在上线前，用了将近一个上午的时间，整理了一个上线流程。在上线时能够提供一些清晰的帮助。
安装grequests、itemadapter包
在工作中，已经陆陆续续使用爬虫做需求将近半年时间了，在这半年时间里，从一个python小白到爬虫入门，再至功能实现。从上午PHP到下午Python忙的焦头烂额到现在的PHP/Python随心切换，其中的曲折不言而喻，也着实走了不少弯路。但好在功夫不负有心人，在半年的时光里，使用Python的同时也和它一起成长。如今总结一下，希望可以帮助到有需要的同学。
从最开始接触爬虫，首先最需要了解的就是python的环境搭建、语法及特性，网络上有很多相关的教程，以下列举几个我在学习过程中使用到的教程，对于Python的快速入门都能起到很大的作用
廖雪峰老师的Python教程，最先就是在这里开启Python之旅的。一边看文章学习一边跟着写写demo
菜鸟教程里的Python基础教程也可以作为快速学习使用
Python3文档，在忘记一些函数的时候可以很快速的找到
当我们在爬取网页的时候，有部分是静态的，这种类型的网页，我们采用一般的方法就能很容易爬取到数据。但有些网页爬取的门槛还是有的，是动态的，是通过js渲染（包括ajax）出来的，这类型的网页采取一般的爬取方式就不行了，会出现爬取不到指定的数据。这时候，就要换种思路来解决了。所谓道高一尺，魔高一丈。本篇文章来介绍一下采用Splash和selenium来爬取动态网页，并对比一下两者的区别。
