任务详情
目前需求：解决快手搜索采集问题。有现成的代码算法更好。解决抖音搜索采集问题。有现成的代码算法更好。完成bilibi搜索采集需求。有现成的代码算法更好。目前需要采集2000多个关键词的搜索结果（主要是高校名称，见附件）。要求每天运行3、4次，能稳定长期采集。技术要求：熟悉安卓或者ios逆向，能提取主流app的数据。熟悉js前端混淆逆向。精通 python 语言开发，具有大型在线服务开发经验。熟悉scrapy等开源爬虫框架。掌握网页抓取原理及技术，了解登录原理，熟悉网页抽取技术。熟悉反爬机制，能解决爬取过程中疑难问题。根据业务需求，实现文本、图片、视频数据抓取、清洗、存储等工作。熟悉软件开发流程，有良好的技术文档习惯，有规范化标准化的代码编写习惯。技术熟练，可以长期合作。
