laidu/java-learn/markdown

#java爬虫

编程语言： java python 爬虫框架： webmagic、scarpy 网络协议： TCP，HTTP，HTTPS， 并发： java并发 数据库： mysql、redis，nosql

1、具备扎实的计算机专业基础知识

2、熟悉java,掌握python,熟悉常用爬虫框架中的一种或多种，如Scrapy框架或其他的Web scraping framework； 4、熟练掌握 TCP，HTTP，HTTPS，熟悉高并发。 3、熟练掌握JavaScript，熟悉HTML，CSS；

4、熟悉网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式，Xpath等网页信息抽取技术； 5、熟悉开源爬虫Webmagic、Jsoup、HTMLunint Httpclient等；

熟悉HTML/JavaScript/CSS/xpath/url/Ajax/xml等web技知识,熟悉HttpClient、jsoup、WebDriver、phantomjs等工具;

6、熟悉反爬虫技术经验优先；

7、熟悉ElasticSearch、lucene或Solr优先；

熟悉linux系统，熟悉mysql、redis，nosql等,

能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台;

了解缓存数据库/消息队列优先； 有分布式爬虫架构经验者优先； 可熟练开发网络抓包程序；可独立设计并开发含有任务分发、多线程、异步文件传输等复杂因素的大规模爬虫系统；

具备强悍的编码能力、扎实的数据结构和算法功底

了解简单的NLP算法优先，了解验证码相关知识优先；

较强的学习能力，有主人翁意识，能够从技术和业务多角度分析和解决问题