網(wǎng)站優(yōu)化的時候，優(yōu)化師會為網(wǎng)站添加上robots文件，robots文件是做什么用的?robots文件是告訴搜索引擎蜘蛛這個地址是網(wǎng)站地圖，如果我們有網(wǎng)站隱私文件要屏蔽搜索引擎蜘蛛不讓其抓取時，可以在robots.txt中寫上路徑地址，并且我們可以在robots文件中添加Sitemap網(wǎng)址，幫助網(wǎng)站的抓取機(jī)會。

robots文件示例：

User-agent: *

Disallow: /bin/

Sitemap: https://www.zhongtao.net/sitemap.xml

有頁面不想被搜索引擎收錄我們可以是用robots meta標(biāo)簽來解決，robots.txt文件主要是限制整個站點或者目錄的蜘蛛訪問，而robots meta標(biāo)簽則主要是針對某個具體的頁面，此標(biāo)簽放在頁面中，專門用來告訴搜索引擎蜘蛛如何抓取該頁的內(nèi)容。

我們接下來看看robots meta標(biāo)簽有幾種使用方式：

1.在content部分robots meta標(biāo)簽有4個指令選項，分別是：index、follow、noindex、nofollow。

follow 指令表示搜索引擎蜘蛛可以爬行該頁面上的鏈接。

notollow 指令與 follow指令相反，表示搜索引擎蜘蛛不可以爬行該頁面上的鏈接。

index 指令告訴搜索引擎蜘蛛可以抓取該頁面。

noindex 指令與index指令相反，表示搜索引擎蜘蛛不可以抓取該頁面。

2. robots meta標(biāo)簽中，name="robots"表示所有的搜索引擎，也可以針對某個具體的搜索引擎。