???上面提到了很多關(guān)于站點優(yōu)化的相關(guān)內(nèi)容，今天小邊想分享的內(nèi)容是文件優(yōu)化。做網(wǎng)站優(yōu)化的人應(yīng)該知道Robots.txt嗯，我們可以直接與搜索引擎蜘蛛交談，告訴蜘蛛哪些內(nèi)容可以捕獲，哪些內(nèi)容不能捕獲。這與我們今天要談?wù)摰奈募?yōu)化有關(guān)。

????Robot.txt用法詳解及robot.txt問題匯總???????(1)為什么設(shè)置？Robots.txt??????在進行SEO操作時，我們需要告訴搜索引擎哪些頁面重要，哪些頁面不重要。蜘蛛可以抓取重要的頁面。屏蔽不重要的頁面可以減輕網(wǎng)站服務(wù)器的負擔(dān)。???????(2)一些常見的問題和知識點????當(dāng)蜘蛛找到一個網(wǎng)站時，第一步是抓取網(wǎng)站Robots.txt文件(當(dāng)然是官方說的，有時候不遵守)；????建議設(shè)置所有網(wǎng)站Robots.txt如果你認為網(wǎng)站上的所有內(nèi)容都很重要，你可以建立一個空的robots.txt文件;???????(3)在robots.txt在文件中設(shè)置網(wǎng)站地圖????你可以在robots.txt向蜘蛛網(wǎng)站地圖所在地址添加網(wǎng)站地圖。???????(4)Robots.txt的順序?????在蜘蛛協(xié)議中，Disallow與Allow這是一個非常重要的問題，如果設(shè)置錯誤，可能會導(dǎo)致抓取錯誤。?????引擎蜘蛛程序?qū)⒊晒ζヅ涞谝粋€Allow或Disallow確定是否訪問某個URL，一個例子可以讓你更清楚:????User-agent:*2.Allow:/seojc/bbs3.Disallow:/seojc/在這種情況下，蜘蛛/seojc/bbs但是/seojc不能抓取目錄文件。蜘蛛可以通過這種方式訪問特定目錄的一部分url。?????讓我們觀察下調(diào)位置。?????User-agent:*2.Disallow:/文件夾/3.Allow:/seojc/bbs/seojc/如果目錄出現(xiàn)在第一行，抓取目錄下的所有文件，因此第二行Allow無效，因為禁止在第一行抓取seojc目錄下的所有文件，bbs目錄恰到好處seowhy目錄下。所以匹配不成功。???????(5)Robots.txt路徑問題?????在蜘蛛協(xié)議中，Allow和Disallow后面有兩種路徑形式，即絕對鏈接和相對鏈接。絕對鏈接是完整的URL形式，相對鏈接只針對根目錄。這是重點記憶。??????(6)斜杠問題????Disallow:/seojc禁止抓取seoic本目錄下的所有文件，如：seojc.1.html、seojc/rmjc.php不允許抓取；????Disallow:/seojc/表示禁止抓取seojc本目錄下的文件允許捕獲seojc.1.html，但不允許抓取seojc/rmjc.php。?????綜上所述，以上是小編想和大家分析的站內(nèi)優(yōu)化文件優(yōu)化。看完后你是否感到驚訝？我不知道有這么多秘密。其實站內(nèi)優(yōu)化的知識遠不止這些，下次有機會和大家分享一些其他的。好了，今天就和大家分享一下。?