一般來(lái)說(shuō)，阻止搜索引擎收錄也可能成為一個(gè)SEO問(wèn)題讓搜索引擎抓取和索引更多的問(wèn)題SEO人們經(jīng)常頭疼，沒(méi)有包括，索引就不能談?wù)撆琶Ｌ貏e是對(duì)于達(dá)到一定規(guī)模的網(wǎng)站，上海seo充分收錄網(wǎng)站是一個(gè)相當(dāng)麻煩的網(wǎng)站SEO技術(shù)，當(dāng)頁(yè)面達(dá)到時(shí)，無(wú)論網(wǎng)站架構(gòu)如何設(shè)計(jì)，多么優(yōu)化，都不可能包含，只能盡可能提高包含率。

但有時(shí)如何阻止搜索引擎收錄也可能成為一個(gè)問(wèn)題，近年來(lái)網(wǎng)站不收錄越來(lái)越成為一個(gè)問(wèn)題SEO問(wèn)題。需要防止包含的情況，如保密信息、復(fù)制內(nèi)容、廣告鏈接等。過(guò)去常用的防止包含方法包括密碼保護(hù)、表格后面的內(nèi)容、使用JS/Ajax、使用Flash等。

使用Flash

Google幾年前，我開(kāi)始嘗試抓取Flash內(nèi)容，可以捕捉到簡(jiǎn)單的文本內(nèi)容。Flash內(nèi)部鏈接也可以跟蹤。

表格

Google蜘蛛也可以填表，抓取表格POST請(qǐng)求頁(yè)面。這可以從日志中看到。

JS/Ajax

使用JS鏈接一直被認(rèn)為是不搜索引擎的友好方法，所以它可以阻止蜘蛛爬行，但兩三年前我看到了JS無(wú)法阻止鏈接Google蜘蛛抓，不僅如此JS中出現(xiàn)的URL會(huì)被爬，簡(jiǎn)單JS還能被執(zhí)行找到更多URL。

上圖為:阻止搜索引擎收錄的原因

前幾天有人發(fā)現(xiàn)很多網(wǎng)站都是優(yōu)化的。Facebook評(píng)論插件中的評(píng)論被爬和收錄，插件本身就是一個(gè)AJAX。這是個(gè)好消息。我的一個(gè)實(shí)驗(yàn)電子商務(wù)網(wǎng)站的產(chǎn)品評(píng)論功能，因?yàn)檫@需要很多努力，使用Facebookcomments插件有很大的好處。以后有時(shí)間說(shuō)具體的好處是什么？問(wèn)題是評(píng)論AJAX目的之一是不能抓取實(shí)現(xiàn)的產(chǎn)品評(píng)論(生成原創(chuàng)內(nèi)容)。當(dāng)時(shí)想了很久也沒(méi)有解決辦法，只好先傻傻的放上去。Facebookcomments插件又打開(kāi)購(gòu)物車(chē)本身的評(píng)論功能。現(xiàn)在好了，F(xiàn)acebookcomments如果可以收錄評(píng)論，就不需要兩套評(píng)論功能。

Robots文件

目前，確保內(nèi)容不包括在內(nèi)的方法是robots禁止文件。但也有一個(gè)缺點(diǎn)，權(quán)重會(huì)流失。雖然內(nèi)容不能包括在內(nèi)，但頁(yè)面已經(jīng)成為一個(gè)無(wú)底洞，只接受鏈接權(quán)重，不流出權(quán)重。

Nofollow

Nofollow不能保證不包括在內(nèi)。即使你的網(wǎng)站所有指向頁(yè)面的鏈接都添加了NF，也不能保證別人的高等網(wǎng)站建設(shè)不會(huì)給這個(gè)頁(yè)面一個(gè)鏈接，搜索引擎仍然可以找到這個(gè)頁(yè)面。

MetaNoindexFollow

為了防止收錄和權(quán)重傳遞，可以在頁(yè)面上使用metanoindex和metafollow，這樣，頁(yè)面不包括在內(nèi)，但權(quán)重可以流出。事實(shí)上，這也是一個(gè)更好的方法。還有一個(gè)問(wèn)題，它仍然會(huì)浪費(fèi)蜘蛛爬行的時(shí)間。讀者有辦法防止包括，沒(méi)有重量損失，也沒(méi)有浪費(fèi)爬行時(shí)間，請(qǐng)留言SEO界功德無(wú)量。