可能有的朋友會(huì)奇怪，網(wǎng)站的頁(yè)面不是讓搜索引擎抓的越多越好嗎，怎么還會(huì)有怎么讓網(wǎng)站頁(yè)面內(nèi)容不被抓取的想法。
首先，一個(gè)網(wǎng)站可以分出去的權(quán)重是有限，哪怕是Pr10的站，也不可能無(wú)限的分權(quán)重出去。這權(quán)重包括鏈到別人網(wǎng)站的處鏈以及自己網(wǎng)站內(nèi)的內(nèi)鏈。
外鏈的話，除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取。這不在本文討論范圍之內(nèi)。
而內(nèi)鏈，因?yàn)橛行┚W(wǎng)站有不少重復(fù)或冗余的內(nèi)容。 比如一些按條件查詢的搜索結(jié)果。特別是一些B2C站，在專門(mén)查詢頁(yè)或在所有產(chǎn)品頁(yè)面的某個(gè)位置內(nèi)，都可以按產(chǎn)品類型，型號(hào)，顏色，大小等進(jìn)行分類搜索。這些頁(yè)面雖然對(duì)瀏覽者來(lái)說(shuō)是極大的方便，但對(duì)搜索引擎來(lái)說(shuō)，這可是耗費(fèi)蜘蛛極大的抓取時(shí)間，特別是網(wǎng)站頁(yè)面較多時(shí)。同時(shí)也會(huì)分散頁(yè)面權(quán)重,對(duì)SEO不利。
另外網(wǎng)站管理登陸頁(yè)面，備份頁(yè)面，測(cè)試頁(yè)面等等，也是站長(zhǎng)不想讓搜索引擎所收錄的。
所以就有需要讓網(wǎng)頁(yè)的某些內(nèi)容，或某些頁(yè)面不被搜索引擎所收錄。
下面筆者先介紹一下較為有效的幾種方法：
1.在FLASH展示不想被收錄的內(nèi)容
眾所周知，搜索引擎對(duì)FLASH的內(nèi)容抓取能力有限，不能完全抓取所有FLASH內(nèi)的所有內(nèi)容。但遺憾的是，也不能完全保證FLASH的所有內(nèi)容都不會(huì)被抓取。因?yàn)楣雀韬虯dobe正努力的實(shí)現(xiàn)FLASH抓取技術(shù)。
2.使用robos文件
這是暫時(shí)最有效的方法，但有個(gè)很大的缺點(diǎn)。就是不傳出任何的內(nèi)容及鏈接。大家知道，在SEO來(lái)說(shuō)比較健康的頁(yè)面應(yīng)該是有進(jìn)有出的。有外鏈的鏈入，同時(shí)也頁(yè)面內(nèi)也需要有鏈到外部網(wǎng)站的鏈接，所以robots文件控制，讓此頁(yè)面只進(jìn)不出，搜索引擎也不知道內(nèi)容是什么。會(huì)把此頁(yè)定為低質(zhì)量頁(yè)面。權(quán)重有可能受一定的懲罰。這個(gè)多用于網(wǎng)站管理頁(yè)面，測(cè)試頁(yè)面等。
3.使用nofollow標(biāo)簽包裹不想被收錄的內(nèi)容
這個(gè)方法也不能完全保證不被收錄，因?yàn)檫@并不是嚴(yán)格要求遵守的標(biāo)簽。另外，如果有外部網(wǎng)站鏈向了有nofollow標(biāo)簽的頁(yè)面。這樣就很有可能會(huì)被搜索引擎抓取。
4.用Meta Noindex標(biāo)簽加上follow標(biāo)簽
這個(gè)方法可以做到防止收錄而且還能傳遞出權(quán)重。要不要傳遞，看網(wǎng)站建設(shè)站長(zhǎng)自己的需要。這個(gè)方法的缺點(diǎn)是，也是會(huì)較大的浪費(fèi)蜘蛛的抓取頁(yè)面時(shí)間。
5.用robots文件的同時(shí)在頁(yè)面上使用iframe標(biāo)簽展示需要搜索引擎收錄的內(nèi)容robots文件可以阻止iframe標(biāo)簽以外的內(nèi)容被收錄 。所以，可以把不想收錄的內(nèi)容放到正常頁(yè)面標(biāo)簽下。而想被收錄的內(nèi)容放在iframe標(biāo)簽內(nèi)。
緊接著，再說(shuō)一下已經(jīng)失效的方法，大家以后不要用這些方法了。
1.使用表格
谷歌和百度早已經(jīng)能抓取表格用的內(nèi)容了，無(wú)法阻止收錄。
2.使用Javascript及Ajax技術(shù)
以現(xiàn)在的技術(shù)來(lái)說(shuō)，Ajax和javascript現(xiàn)在的最終運(yùn)算的結(jié)果還是以HTML的形式傳給瀏覽器以作顯示，所以這同樣無(wú)法阻止收錄。
初學(xué)者大多著眼于如何收錄，但細(xì)節(jié)決定成敗。怎么讓網(wǎng)站頁(yè)面內(nèi)容不被抓取也是SEO進(jìn)階人士需要注意的。謝謝閱讀，希望能幫到大家，請(qǐng)繼續(xù)關(guān)注腳本之家，我們會(huì)努力分享更多優(yōu)秀的文章。
國(guó)外谷歌站長(zhǎng)透露，Google搜索即將從今年11月份開(kāi)始小范圍啟用HTTP/2方式抓取網(wǎng)站內(nèi)容，爬行web頁(yè)面時(shí)效率更高，不影響網(wǎng)站搜索排名。了解到，HTTP/是基于SPDY
淺談搜索引擎收錄的抓取規(guī)則？談到SEO優(yōu)化我們就必須不得不談網(wǎng)站的收錄問(wèn)題，沒(méi)有收錄的站是不可能做的了SEO優(yōu)化的，因此不收錄不SEO這個(gè)句話是有一定道理的，今天就由站優(yōu)云宇凡來(lái)為大家淺談下搜索引擎收錄的抓取規(guī)則有哪些
A5站長(zhǎng)網(wǎng)9月13日消息：相信更多的站長(zhǎng)每天都關(guān)注著搜索引擎的排名以及收錄問(wèn)題，但是，我們的網(wǎng)站是否符合百度等其它搜索引擎抓取習(xí)慣的網(wǎng)站以及建站需要注意哪些事項(xiàng)等等。對(duì)于以上的問(wèn)題，在昨日(9月12日)百度站長(zhǎng)平臺(tái)lee給大家分享了關(guān)于如何建立符合搜索抓取習(xí)慣
之前百度站長(zhǎng)lee給大家介紹了搜索抓取系統(tǒng)工作原理，根據(jù)該工作原理今天簡(jiǎn)要介紹一下如何建立網(wǎng)站是符合搜索引擎抓取系統(tǒng)習(xí)慣的。