MinHash

SimHash 1.算法思想 假设我们有海量的文本数据，我们需要根据文本内容将它们进行去重。对于文本去重而言，目前有很多NLP相关的算法可以在很高精度上来解决，但是我们现在处理的是大数据维度上的文本去重，这就对算法的效率有着很高的要求。 而局部敏感hash算法可以将原始的文本内容映射为数字（hash ......