職位描述
崗位描述: 1. 負責分布式網絡爬蟲系統的架構設計與開發(如抓取調度,多樣化抓取,頁面解析和結構化抽取,海量數據存儲和讀取等); 2. 負責爬蟲核心算法的策略優化研究,提升爬蟲抓取效率和質量(如調權調度、分析預測、質量判斷、封禁與反封禁研究等); 3. 負責HTTP、AJAX等各類網絡請求分析,探索和研究高效的數據抓取解決方案; 任職資格: 1、本科及以上學歷,良好的代碼能力,扎實的數據結構和算法功底,有快速迭代、逐步優化的工程項目經驗; 2、有良好邏輯思維能力、溝通能力、團隊合作精神、學習能力,抗壓能力,對挑戰性問題充滿激情; 3、熟悉linux和Java開發,熟悉shell/perl/python等腳本語言,熟練掌握正則表達式; 4、精通一種開源爬蟲框架,如scrapy、webmagic、nutch、heritrix等,有開發爬蟲框架經驗優先;熟悉反爬蟲、驗證碼識別技術者優先; 5、有多線程、網絡數據處理經驗優先(如HTTP協議,AJAX,爬蟲開發,瀏覽器內核開發,Web服務開發等); 6、有大規模分布式海量數據處理經驗優先(如Hadoop/Hbase/Spark/Strom/Flink等);
公司簡介
??????柳州飛熊網絡科技有限公司,代理VR/AR/MR軟硬件產品與技術服務,是VR/AR項目建設與產品集成服務的供應商。
??????致力于以3R為代表的新興技術產業引入,重點為3R技術在教育、雙創和產業領域的應用推廣貢獻力量。
??????公司目前打造年輕化團隊,歡迎各類精英加入我們,一經入職,我們將提供寬松的工作環境,優厚的薪資待遇,廣闊的個人發展空間。
上班地點
-
可能感興趣的職位
-
河道治理技術總工8000-10000元柳州-柳南區1、有多年河道治理項目經驗的技術總工 2、總工負責的事宜,施工計劃,材料供應計劃,施工安排協調等。 3、各方溝通工作,村里溝通等配合協調工作。 4、薪資8000-100002025-11-28
柳州相關熱門崗位
- 柳州飛熊網絡科技有限公司
- 所在行業 網絡
- 成立時間 --
- 企業性質 有限責任
- 公司規模 --