任务详情
岗位职责
1. 基于公司现有Scrapy框架，遵循公司编码规范，完成指定网站的漏洞数据抓取开发。原则上所有数据源需支持增量和全量爬取
2. 输出符合公司规范的爬虫文档（Spider逻辑说明、字段映射表、反爬策略记录）
3. 输出符合公司Schema的数据。
技术要求
1、1年以上Scrapy实战经验，3年以上的python开发经验，熟悉并能正常使用Redis、mongo、mysql相关中间件。
2、具备突破高防护级别网站的实际经验（反爬），包括但不限于scrapy-proxy-pool或自定义代理中间件开发；Cloudflare/WAF防护对抗策略（请求速率控制、Cookie策略）。（需提供过往案例证明代码片段可进行脱敏处理）
增量、全量爬取一下网站信息， 按要求返回数据结构
https://github.com/CVEProject/cvelistV5
https://huntr.dev/bounties/hacktivity/
https://github.com/aquasecurity/vuln-list-debian/blob/main/tracker/CVE
https://www.cvedetails.com/vulnerability-list/published_on-today/
https://app.opencve.io/cve/
https://feedly.com/cve
https://cve.circl.lu/vuln/cve-2024-57881
https://gitlab.com/gitlab-org/security-products/gemnasium-db
https://www.cybersecurity-help.cz/vulnerabilities/
https://gstreamer.freedesktop.org/security
https://www.suse.com/security/cve/
https://cxsecurity.com/
https://www.seebug.org/
