任务详情
一、关键词列表导入
用户能够上传或导入关键词列表，爬虫根据这些关键词进行搜索。
二、.搜索和结果收集
1、爬虫会在百度移动端搜索结果中查找每个关键词的相关页面。
2、需要打开每个页面并记录搜索结果的排名及其联系方式信息。
3、联系方式可能以文字或图片形式展示，爬虫需要能够识别并提取这些联系方式，识别率要求至少达到95%。
4、爬虫需能够获取站点的所有尾页内容，确保抓取完整信息。
三、防止IP限制
爬虫需要采取措施以避免触发百度的IP访问限制，例如通过更换IP、使用代理或模拟用户行为来降低请求频率。
四、全自动运行
爬虫需要具备全自动化功能，能够24小时不间断运行，完全无需人工干预，并准确自动生成工整结果。
支持多线程并发抓取，提高效率。
自动识别网站上的联系方式，包括文字和图片，并确保在不同情况下都能准确提取信息。
五、高准确率
联系方式的识别准确率要求达到至少95%以上，确保能够精准抓取所有有效联系方式。
手机模式真实模拟
一些页面可能会识别浏览器的手机模式并进行屏蔽，因此爬虫需要能够采取策略，真实模拟手机搜索。
使用适当的User-Agent、请求头、IP池等技术，确保模拟的手机访问行为尽可能接近真实用户，从而避免被页面屏蔽。
设定抓取页数与模拟点击
爬虫能够设定搜索每个关键词结果的前XX页的站点内容进行爬取。
必须模拟真实用户的点击行为，避免触发百度的防爬虫机制，确保搜索效率不受影响。
多级跳转抓取
对于需要经过多级跳转的站点，爬虫需要能够准确跟踪跳转路径，最终抓取尾页展示的完整信息内容。
确保在多级跳转过程中不会丢失重要数据，并能够最终准确抓取目标页面的内容。
这个更新确保了爬虫在遇到复杂跳转结构时，仍然能高效并精确地抓取目标内容。
合作模式：3天内交工 产品交付测试使用无问题，付1000元，测试使用7天后，无问题付尾款500
