爬虫开发工程师

　　爬虫开发工程师岗位简介

　　爬虫开发工程师是掌握python和网络爬虫技术，能够从任何一个网页开始，不断链接其它网页，实现互联网数据的索取并开发相关软件的工程技术人员。

　　爬虫开发工程师岗位职责

　　1、主导和参与爬虫系统的架构设计、开发与优化;

　　2、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性;

　　3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量;

　　4、能独立解决实际开发过程中碰到的各类问题;

　　5、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作;

　　爬虫开发工程师岗位要求

　　1. 熟悉爬虫基本原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先;

　　2. 熟悉http协议，熟悉html、xpath等常见的数据抽取技术。

　　3. 精通HTML/DOM

　　4. 熟悉JavaScript或ActionScript3

　　5. 熟悉TCP/IP、HTTP、WebSocket协议

　　6. 有较强的代码阅读能力

　　7. 两年以上破解/逆向分析经验

　　8. Python语言

　　9. 参与过多人协作项目，拥有大批量分布式多线程抓取经验者优先

　　爬虫开发工程师发展前景

　　其实爬虫涉及的东西挺多的，包括JS逆向，安卓逆向、架构设计这些比较复杂的知识，尤其是安卓逆向，算是杂学了，门槛挺高的，竞争力肯定也是可以的。

　　爬虫所做的工作的结果，得到的是基础的数据。

　　基础数据之上，有哪些发挥用途的地方，就有哪些拓宽职业道路的地方。

　　在基础数据上往上走，数据处理、数据分析、数据展示(可视化或Web)、数据应用(挖掘)，都可以在这些领域继续向前。

　　大数据和人工智能时代下，爬虫工程师这几年是路越走越宽的，但是初级爬虫工程师基本会被八爪鱼这类软件替代，高级爬虫工程师的能力重点不在于会写几个get，post请求，使用正则解析下文本这么简单，而是在对数据和业务本身的立即深刻，对于从数据中如何整合挖掘价值有一整套的思路和方法，包括精通数据分析，精通各种数据库。