眾所周知SEO優化中robots文件是用來管理機器人抓取網站內容的，而robots.txt文件則是放在我們網站根目錄下面的一個文本文件，用來規定什么蜘蛛（機器人）可以抓取什么文件，不可以抓取什么文件。我們通常用robots來告訴搜索引擎，這個目錄你可以進，那個目錄你不可以進；這個文件你可以訪問，那個文件你不能訪問。但是有些時候，robots文件，我們還是要謹慎使用的好。