Robots是網站和爬蟲之間的協議，它以簡單直接的TXT格式告知相應爬蟲的允許權限，即RobotsTXT是在搜索引擎中訪問網站時查看的第一個文件。搜索蜘蛛訪問站點時，首先會檢查站點Txt根目錄下是否有機器人，如果有，搜索機器人會根據文件內容確定訪問范圍；如果文件不存在，所有搜索蜘蛛將能夠訪問網站上所有不受密碼保護的頁面。Txt協議不是一個標準，只是一個約定，所以不能保證網站的隱私。注意robotsTxt使用字符串比較來確定是否獲取URL。因此，目錄末尾是否有斜杠“/”表示不同的URL，以及；不允許：*。gif"；這樣的通配符

機器人。TXT在SEO中的作用

網站優化】什么是機器人文件，它們的功能是什么" />

搜索引擎自動收集互聯網上的網頁，并通過爬蟲程序（也稱為搜索蜘蛛、機器人、搜索機器人等）獲取相關信息

考慮到網絡安全和隱私，搜索引擎遵循robotsTXT協議。通過純文本文件。該網站在根目錄Txt中創建，可以聲明不希望機器人訪問的部分。每個網站是否愿意被指定的搜索引擎包含或控制。當搜索引擎爬蟲訪問一個站點時，它會首先檢查該站點根目錄下是否有機器人。如果文件不存在，爬蟲將沿著鏈接爬行。如果確實存在，爬蟲將根據文件的內容確定訪問范圍。