任务详情
远程岗位
岗位:爬虫开发工程师 *1
工作地点: 远程
性别: 不限
国籍: 不限制
工资范围:2000 - 3000
工作时间:双休,8小时制, 北京时间10点开始上班,午休自己安排,不超过30分钟。
岗位职责
负责公司数据采集与爬虫系统的开发、优化与维护,确保数据抓取的稳定性与准确性;
根据业务需求设计数据采集架构与策略,处理多源异构数据的采集与清洗;
研究并规避反爬机制,提升采集效率与反封锁能力;
优化爬虫调度系统,提升分布式爬取性能与数据抓取成功率;
与数据分析、后端及产品团队协作,提供高质量的数据支持;
编写技术文档,持续优化爬虫框架及监控系统。
【任职要求】
本科及以上学历,计算机、软件工程或相关专业优先;
3年以上Python或Java爬虫开发经验,熟悉Scrapy、Requests、Selenium等常用框架;
熟悉网页结构、HTTP协议、JS渲染、代理池与反爬策略;
具备大规模分布式爬虫系统设计与开发经验;
熟悉MySQL、Redis、Elasticsearch等数据库及缓存应用;
有反爬研究、动态网页采集、数据清洗及监控经验者优先;
具备良好的编码规范、问题分析与团队协作能力。
谢谢你给社区的朋友们带来的工作机会:)
友情提示,请参考社区规则:https://eleduck.com/posts/6GzfGe
认真对待你的招聘帖子并补全以下内容:公司介绍、业务产品、薪资范围、面试方式等。
换位思考,没有这些信息,申请者将很难判断自己是否应该申请;与其在之后的环节给每个人都一一解释一遍,还不如直接在帖子里写清楚,沟通效率更高。
请尽快补充完善,不符则删,谢谢理解鸭:)