新手SEO網(wǎng)站管理員可能對(duì)robotsTxt文件知之甚少，因?yàn)檫@個(gè)文件通常在編寫(xiě)后不會(huì)被修改。當(dāng)然，除非有一天你不想讓蜘蛛抓到你的網(wǎng)站，或者網(wǎng)站有不允許發(fā)布的私人文件，你可以修改robotsTxt文件的語(yǔ)法，具體的語(yǔ)法在這里沒(méi)有描述

雖然robotsTxt在日常SEO工作中很少被提及，但其意義非常重大。機(jī)器人的作用不再局限于網(wǎng)頁(yè)的隱私，還包括清理網(wǎng)頁(yè)上的某些路徑，例如刪除死鏈，這是非常有效的?，F(xiàn)在關(guān)注尹華峰的SEO技術(shù)博客，全面了解真正的機(jī)器人Txt文件

什么是機(jī)器人Txt文件

機(jī)器人。Txt是一個(gè)文本文件，存儲(chǔ)在網(wǎng)站的根目錄中。它通常告訴搜索引擎的爬蟲(chóng)（也稱(chēng)為網(wǎng)絡(luò)爬蟲(chóng)或蜘蛛）搜索引擎的爬蟲(chóng)不應(yīng)該獲取網(wǎng)站中的哪些內(nèi)容，以及爬蟲(chóng)

機(jī)器人可以獲取哪些內(nèi)容。機(jī)器人必須是小寫(xiě)的。這是與網(wǎng)絡(luò)蜘蛛簽訂的協(xié)議。當(dāng)蜘蛛來(lái)到你的網(wǎng)站時(shí)，首先看到的是你網(wǎng)站Txt協(xié)議文件根目錄中的機(jī)器人，它會(huì)按照你的規(guī)則爬行，但一些驕傲的蜘蛛不遵守規(guī)則。一般來(lái)說(shuō)，網(wǎng)絡(luò)蜘蛛也會(huì)跟著來(lái)。如果你的網(wǎng)站根目錄中沒(méi)有這個(gè)文件，網(wǎng)絡(luò)蜘蛛會(huì)沿著我們網(wǎng)站上的鏈接一個(gè)接一個(gè)地爬行

機(jī)器人TXT的功能是什么

（1）它可以引導(dǎo)搜索引擎的蜘蛛抓取指定的列或內(nèi)容。就像你去了一個(gè)陌生的城市，有人給你指路

（2）當(dāng)我們的網(wǎng)站被修改或URL被重寫(xiě)和優(yōu)化時(shí)，壞鏈接被屏蔽。不要在萬(wàn)不得已的情況下修改網(wǎng)站。這將對(duì)網(wǎng)站造成極大的危害，這將導(dǎo)致權(quán)力的減少或排名的損失

（3）你可以阻止死鏈接和404錯(cuò)誤頁(yè)面。隨著網(wǎng)站的發(fā)展，死鏈接和404錯(cuò)誤頁(yè)面不可避免

（4）阻止沒(méi)有內(nèi)容和沒(méi)有價(jià)值的頁(yè)面

（5）阻止重復(fù)頁(yè)面，如評(píng)論頁(yè)面和搜索結(jié)果頁(yè)面

（6）阻止任何你不想被包含的頁(yè)面

（7）引導(dǎo)蜘蛛抓取網(wǎng)站地圖。讓蜘蛛更快地爬上我們網(wǎng)站的鏈接

結(jié)論：因?yàn)閞obotsTxt文件是網(wǎng)站和蜘蛛之間的協(xié)議。當(dāng)蜘蛛來(lái)抓取網(wǎng)站時(shí)，它必須首先（理論上）遵守協(xié)議。這么多網(wǎng)站都有Txt文件，就是把網(wǎng)站地圖放進(jìn)去。例如，峰峰的博客也不例外。當(dāng)然，這是為了吸引蜘蛛快速抓取網(wǎng)站鏈接，方便收集。還有其他網(wǎng)站機(jī)器人Txt文件的查詢(xún)，可以直接添加機(jī)器人后的域名Txt一目了然。