爬虫开发工程师岗位简介
爬虫开发工程师是掌握python和网络爬虫技术，能够从任何一个网页开始，不断链接其它网页，实现互联网数据的索取并开发相关软件的工程技术人员。
爬虫开发工程师岗位职责
1、主导和参与爬虫系统的架构设计、开发与优化;
2、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性;
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量;
4、能独立解决实际开发过程中碰到的各类问题;
5、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作;
爬虫开发工程师岗位要求
1. 熟悉爬虫基本原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先;
2. 熟悉http协议，熟悉html、xpath等常见的数据抽取技术。
3. 精通HTML/DOM
4. 熟悉JavaScript或ActionScript3
5. 熟悉TCP/IP、HTTP、WebSocket协议
6. 有较强的代码阅读能力
7. 两年以上破解/逆向分析经验
8. Python语言
9. 参与过多人协作项目，拥有大批量分布式多线程抓取经验者优先
爬虫开发工程师发展前景
其实爬虫涉及的东西挺多的，包括JS逆向，安卓逆向、架构设计这些比较复杂的知识，尤其是安卓逆向，算是杂学了，门槛挺高的，竞争力肯定也是可以的。
爬虫所做的工作的结果，得到的是基础的数据。
基础数据之上，有哪些发挥用途的地方，就有哪些拓宽职业道路的地方。
在基础数据上往上走，数据处理、数据分析、数据展示(可视化或Web)、数据应用(挖掘)，都可以在这些领域继续向前。
大数据和人工智能时代下，爬虫工程师这几年是路越走越宽的，但是初级爬虫工程师基本会被八爪鱼这类软件替代，高级爬虫工程师的能力重点不在于会写几个get，post请求，使用正则解析下文本这么简单，而是在对数据和业务本身的立即深刻，对于从数据中如何整合挖掘价值有一整套的思路和方法，包括精通数据分析，精通各种数据库。
