什么是robots.txt?百度百科的解釋是"robots.txt一般指Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。"

用大白話解釋一遍：robots.txt文件就是網(wǎng)站的一扇門，關(guān)掉門就把搜索引擎spider拒之門外了，打開門spider就可以隨意觀賞你網(wǎng)站的每個角落，發(fā)現(xiàn)好看的地方就會拍照留存，你也是可以通過設(shè)置robots文件的內(nèi)容，禁止spider看你的私人臥室的。當然spider有時候可能好奇心比較重，會破門而入那就是特殊情況了。

如果在網(wǎng)站優(yōu)化的過程中，因為誤操作不小心把這扇門給關(guān)上了，就意味著是私人領(lǐng)地禁止spider訪問，搜索引擎spider會很紳士的回去，下一次再來拜訪，多次拜訪后還是禁止訪問，spider就明白你的意思了，不會再來拜訪了!spider會認為你的網(wǎng)站內(nèi)容不適合公開，就不會在搜索引擎中給予任何排名。

為了保證搜索體驗，搜索引擎還是會把你網(wǎng)站首頁留存在索引里面，當別人查詢的時候就告訴別人，我曾經(jīng)多次訪問過這個網(wǎng)站，但它把我拒之門外了，我是紳士所以不能訪問這個網(wǎng)站的內(nèi)容，你可以點擊這個排名結(jié)果訪問。

一：如果你的網(wǎng)站是希望通過搜索引擎獲取排名的，但卻因為誤操作通過robots.txt文件，封禁了搜索引擎的抓取，如何處理呢?

1.修改Robots封禁為允許，然后到百度站長后臺檢測并更新Robots。

2.在百度站長后臺抓取檢測，此時顯示抓取失敗，沒關(guān)系，多點擊抓取幾次，觸發(fā)蜘蛛抓取站點。

3.在百度站長后臺抓取頻次，申請抓取頻次上調(diào)。

4.百度反饋中心，反饋是因為誤操作導(dǎo)致了這種情況的發(fā)生。

5.百度站長后臺鏈接提交處，設(shè)置數(shù)據(jù)主動推送(實時)。

6.更新sitemap網(wǎng)站地圖，重新提交百度，每天手工提交一次。

正確的處理robots封禁文件后，搜索引擎會在一周的時間內(nèi)，重新抓取你的網(wǎng)站，你的網(wǎng)站就會恢復(fù)到正常抓取狀態(tài)!雖然處理這個問題并不難，畢竟多多少少會給網(wǎng)站帶來損失，因此還是需要seoer們多多注意的。

二：什么情況下會導(dǎo)致誤操作封禁了robots.txt文件呢?

1.在網(wǎng)站建設(shè)或開發(fā)的前期，一般都會封禁robots.txt文件，禁止spider抓取，而網(wǎng)站上線后卻忘記了修改robots文件;

2.在網(wǎng)站升級或改版的時候，如果技術(shù)選擇了在線開發(fā)，但為了避免spider抓取開發(fā)版本，造成不好的印象，而要求技術(shù)人員設(shè)置了Robots封禁處理，版本迭代卻忘了更新robots文件;

3.對robots.txt文件的設(shè)置使用不熟練，也有可能錯誤的禁止了某些本該開放抓取的文件，或者開放了某些本該禁止抓取的文件。