崗位要求：
1.對爬蟲、圖形驗證碼識別等技術有較深入研究
2. 計算機或相關專業?？埔陨蠈W歷，3年以上爬蟲工作經驗
3. 掌握網絡爬蟲開發原理，對互聯網各種類型數據交互模式數據，知道如何處理需登錄網站、動態頁面、封賬號IP等各種情況下的數據采集方法
4. 熟悉大規模網頁爬取，深度網頁爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術平臺和主要框架，精通Java開發，能熟練應用spring，MyBatis, MQ等主流技術框架；
4. 對數據庫有充分了解，熟悉Oracle、MySQL、NonSQL等技術
5. 熟悉分布式系統開發和存儲技術，如Redis、Memcache、Ehcache等
6. 學習能力強，對新技術研究狂熱，有很強獨立研究能力
崗位職責：
1.參與爬蟲系統的設計和開發，負責爬蟲系統的框架設計
2.負責網頁信息抽取、數據清洗等研發和優化工作
3.對互聯網海量業務進行整合、分析挖掘
4.與技術團隊進行溝通，負責爬蟲數據與業務系統的整合對接
5.能主導部門新技術研究、開發

職位類別： 其他

舉報