任务详情
主播发在douyin、kuaishou等直播平台,发起直播后,浏览者会发送消息、打赏、点赞等操作。需要发起直播,收集直播间评论、打赏、点赞等信息。通过浏览器抓取直播间信息,存在不稳定性,所以不采用此方案。当前需求主要处理流程是:1 通过解析douyin protobuf 协议了解数据结构。2 抓取工具可通过java或python实现数据抓取,抓取内容包括时间、互动用户的id、互动用户的头像、操作类型(评论、送礼物、点赞)、评论内容、礼物详情。3 将收集到的数据,写到本地文件中全量存储。程序要求稳定,不遗漏抓取内容。