任务详情
1.需求概述：通过对采集到的数据内容进行智能分析匹配，找到历史信息中的重复文档，并给出处理建议。
2.需要提供一套算法，可以实现从10万个文档中找到重复的文档，要求能够提供重复度。
传统的方法是两两对比。但是如果要实现10万个文档的对比，需要对比100000*100000/2= 50亿次。如果每次对比1秒，那么需要使用57870年。
这样的对比是不现实的，因此要求提供的算法不需要对比那么多次，可以提取每个文档的特征，然后后续文章通过特征对比即可。
如果有开源的算法，建议使用开源的算法。不建议自己开发算法。
注：不要电话联系。
