搜索引擎如何判断原创与伪原创再续

以前的文章“Google是如何判断原创与伪原创”，其中说了三点，一是相似度，二是搜索指纹，三是代码噪音。今天转载一些针对“搜索指纹”的详细说明。

一、相似度主要依靠的是词频和逆文档频率来判断，这两个概念在“转载一篇文章，大家可以看下”这篇文章中详细介绍了下。

二、搜索指纹，搜索引擎就是依靠搜索指纹来 判断文章内容的原创性，所以伪原创做的好不好就是你能把搜索指纹去掉多少。

搜索引擎判定复制网页一般都基于这么一个思想：为每个网页计算出一组信息指纹(Fingerprint)，若两个网页有一定数目相同的信息指纹，则以为这两个网页的内容重叠性很高，也就是说两个网页是内容复制的。

很多搜索引擎判定内容复制的方法都不太一样，主要是以下两点的不同：

1、计算信息指纹(Fingerprint)的算法;

2、判定信息指纹的相似程度的参数。

在描述具体的算法前，先说清楚两点：

1、什么是信息指纹?信息指纹就是把网页里面正文信息，提取一定的信息，可以是关键字、词、句子或者段落及其在网页里面的权重等，对它进行加密，如MD5加密，从而形成的一个字符串。信息指纹如同人的指纹，只要内容不相同，信息指纹就不一样。

2、算法提取的信息不是针对整张网页，而是把网站里面共同的部分如导航条、logo、版权等信息(这些称之为网页的噪音)过滤掉后剩下的文本。

分段签名算法

这种算法是按照一定的规则把网页切成N段，对每一段进行签名，形成每一段的信息指纹。假如这N个信息指纹里面有M个相同时(m是系统定义的阙值)，则以为两者是复制网页。

这种算法对于小规模的判定复制网页是很好的一种算法，但是对于像google这样海量的搜索引擎来说，算法的复杂度相当高。

基于关键词的复制网页算法

像google这类搜索引擎，他在抓取网页的时候都会记下以下网页信息：

1、网页中出现的关键词(中文分词技术)以及每个关键词的权重(关键词密度)

2、提取meta descrīption或者每个网页的512个字节的有效文字。

关于第2点，baidu和google有所不同，google是提取你的meta descrīption，假如没有查询关键字相关的512个字节，而百度是直接提取后者。这一点大家使用过的都有所体会。

在以下算法描述中，我们约定几个信息指纹变量：

Pi表示第i个网页;

该网页权重最高的N个关键词构成集合Ti={t1,t2,...tn}，其对应的权重为Wi={w1,w2,...wi}

摘要信息用Des(Pi)表示，前n个关键词拼成的字符串用Con(Ti)表示，对这n个关键词排序后形成的字符串用Sort(Ti)表示。

以上信息指纹都用MD5函数进行加密（MD5签名函数是一个散列函数，可以将任意长度的数据流转化为一个固定长的数字4个整型数128位的数据。而这个数据流就是搜索引擎指纹。搜索引擎在 爬取页面的时候就会产生一个数据流，并把这个暂时的数据流储存在临时的索引库里，因为每个数据都会生成一个唯一的指纹密钥，这样搜索引擎就可以通过抓取时 生成的指纹密钥在临时索引库进行匹配对比，这就是我们经常说的更新。通过临时索引库储存的指纹密钥与即有的索引库的指纹密钥进行对比碰撞，从而计算出相同 指纹密钥的信息。进而剔除相同密钥的临时索引库里的指纹密钥，也就是我们经常常说的回吐。）。

基于关键词的复制网页算法有以下5种：

1、MD5(Des(Pi))=MD5(Des(Pj)),就是说摘要信息完全一样，i和j两个网页就以为是复制网页;

2、MD5(Con(Ti))=MD5(Con(Tj)),两个网页前n个关键词及其权重的排序一样，就以为是复制网页;

3、MD5(Sort(Ti))=MD5(Sort(Tj)),两个网页前n个关键词一样，权重可以不一样，也以为是复制网页。

4、MD5(Con(Ti))=MD5(Con(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a，则以为两者是复制网页。

5、MD5(Sort(Ti))=MD5(Sort(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a，则以为两者是复制网页。

三、去噪

搜索引擎会分辨你这个页面哪些是模板部分，哪些是正文。它会把同一模板部分先删除，判断正文的相似度。