工作职责：

1.编写大规模分布式网络爬虫（多线程、分布式调度、协议处理）；

2.系统解决动态网页内容抓取、深度网页内容抓取的关键技术；

3.机器学习，信息检索，大规模数据挖掘等工作；

4.负责大数据高性能分布式处理系统的开发

5.数据清洗整理类产品的应用开发、优化；

6.构建和开发在海量数据下多维分析的数据分析平台



职位要求：

1.Java基础扎实，精通SSH等开源框架；英文4级以上。

2.熟悉MySql、Oracle、MongoDB一种或多种数据库开发技术，有较好的数据库设计能力；

3.精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；

4.精通爬虫和反爬技术，精通http底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取技术等；

5.熟悉分布式系统、多线程

6.具有网络爬虫、网页信息抽取、数据挖掘、自然语言处理、信息检索、机器学习、web挖掘等搜索引擎等任何一种优势经验优先；