一般来说，让搜索引擎捕获和索引更多(duō)的内容往往是seo们头疼的问题。没有(yǒu)包容和索引，就谈不上排名(míng)。特别是对于一个具(jù)有(yǒu)一定规模的网站来说，要使网站完全被收录是一项相当费劲的SEO技(jì )术。比如，当页(yè)面达到几十万个页(yè)面时，无论网站架构如何设计和优化，都不可(kě)能(néng)100%包含网站，所以我们只能(néng)尽量提高包含率。 但有(yǒu)时，如何停止搜索引擎包括可(kě)能(néng)成為(wèi)一个问题，越来越近。需要屏蔽的信息，如机密信息、复制内容、广告链接等。过去，常用(yòng)的防止包含的方法包括密码保护、将内容隐藏在表单后面、使用(yòng)JS/Ajax、使用(yòng)flash等。

一、使用(yòng)Flash

        几年来，搜索引擎一直试图抢占flash内容。简单的文(wén)本内容已经可(kě)以被抓取。flash中(zhōng)的链接也可(kě)以被跟踪。

二，形式

        搜索引擎蜘蛛还可(kě)以填写表单和获取post请求页(yè)面。这可(kě)以在日志(zhì)中(zhōng)看到。

三、JS/Ajax

        使用(yòng)JS链接一直被认為(wèi)是一种对搜索引擎不友好的方法，因此可(kě)以防止蜘蛛爬行。但两三年前，我看到JS链接无法阻止搜索引擎蜘蛛爬行。不仅会对JS中(zhōng)出现的url进行爬网，还可(kě)以执行简单的JS来查找更多(duō)的url。

        日前，人们发现，许多(duō)网站使用(yòng)的Facebook评论插件中(zhōng)的评论被抓取并包含在内。插件本身是一个Ajax。这是个好消息。我的一个实验性電(diàn)子商(shāng)務(wù)网站的产(chǎn)品评论功能(néng)為(wèi)此付出了很(hěn)多(duō)努力。使用(yòng)Facebook评论插件有(yǒu)很(hěn)大的好处。具(jù)體(tǐ)的好处稍后会有(yǒu)时间来说明，较好的问题是审查是由Ajax实现的，无法捕获，而产(chǎn)品审查是作(zuò)為(wèi)目的之一（生成原始内容）包括在内的。我想了很(hěn)長(cháng)一段时间，没有(yǒu)一个解决方案，所以我不得不打开Facebook评论插件，打开購(gòu)物(wù)車(chē)的评论功能(néng)。既然Facebook评论中(zhōng)的评论可(kě)以包含在内，就没有(yǒu)两套评论功能(néng)了。

四、robots文(wén)件

        目前，确保内容不被包含的方法是禁止robots文(wén)件。但也有(yǒu)一个缺点，就是重量会减少，虽然内容不能(néng)包含在内，但页(yè)面却成了一个只接受链接重量而不流出重量的无底洞。

五、限制跟踪

        Nofollow不保证不包括在内。即使NF被添加到你网站上所有(yǒu)指向该页(yè)面的链接中(zhōng)，你也不能(néng)保证其他(tā)网站不会获得指向该页(yè)面的链接。搜索引擎仍然可(kě)以找到这个页(yè)面。

六、metanoindex+follow

        為(wèi)了防止集合转移权重，我们可(kě)以在页(yè)面上使用(yòng)metaindex和metaflow，这样页(yè)面就不包括在内，而是可(kě)以流出权重。的确，这是一个更好的方法。还有(yǒu)一个问题，否则会浪费蜘蛛爬行的时间。
如何使网页(yè)不被收录是一个值得思考的问题。对于那些没有(yǒu)意识到严重性的人员，你可(kě)以考虑在你的网站上有(yǒu)多(duō)少重复的内容、低质(zhì)量的内容、各种各样的非搜索值分(fēn)类和过滤网址。