任务详情
职位需求
爬虫数据工程师
岗位职责
1 多平台爬虫系统设计与开发
负责设计、实现与优化面向网页及 APP 的高性能、高可用数据采集系统，能够有效应对各类反爬机制（如验证码、IP 封禁、行为检测等）；
主导或参与分布式爬虫架构的搭建与调优，保障海量数据采集的效率、稳定性与可扩展性。
2 数据采集与处理流程建设
完成从数据抓取、清洗、去重到结构化存储的全流程开发，建立数据质量监控体系，确保数据的准确性与时效性。
3 数据治理与技术研究
研究与实施数据采集规范与标准，推动数据采集流程的标准化与自动化；
跟踪前沿爬虫技术与反爬策略，持续优化数据采集方案与技术栈。
任职要求
计算机、软件工程、电子信息、数学等相关专业本科及以上学历，4 年以上爬虫或数据采集相关开发经验；
工作事件 周 1 - 5，最好有一定时间可以在公司驻点，公司位于广州市电商中心。
