实现
59人浏览/42人投稿
1324天前
已托管赏金
岗位职责： 1、负责各类数据的爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作； 2、根据业务、产品和项目相关需求，负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作； 3、根据产品和项目需求，负责Python Web开发维护工作； 4、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制； 5、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力； 6、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量； 岗位要求： 1、计算机、数学或统计等相关专业本科及以上学历，3年以上相关工作经验； 2、熟悉linux平台，熟练掌握Python、SQL、ETL数据处理开发工作；熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）； 3、能够熟练使用Redis、MySQL、Mongo、ES等数据库工具进行数据处理开发和维护工作； 4、熟练掌握数据处理性能调优，数据清洗、转换、整合等数据管理和维护工作; 5、熟练掌握爬虫采集技术及架构设计，精通瑞数解析的优先考虑； 6、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具；具有js逆向，app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段； 7、具备大数据处理开发（Hadoop/Hive，Storm/Spark等）相关工作经验者优先考虑； 8、具备良好的编程习惯和逻辑思维能力；有个人相关作品或个人技术站的优先考虑 9、具备创业心态，善于学习，热爱技术开发，善于团队协作，能积极主动地参与公司产品研发等相关工作。
