搜索引擎優(yōu)化的工作者對于Robots.txt文件，應該說并不陌生。因為在有些情況下，我們并不想讓網(wǎng)站的全部文件都讓搜索引擎收錄。比如說一些網(wǎng)站后臺管理目錄、會員隱私信息、沒有價值的網(wǎng)頁等，我們都不打算讓搜索引擎的蜘蛛爬取。在這種情況下，我們就有必要會用到Robots.txt文件，來與搜索引擎溝通。

具體的方式是通過在網(wǎng)站根目錄創(chuàng)建名為:Robots.txt的文件,你就可以阻止蜘蛛來索引網(wǎng)站的某些內(nèi)容，如動態(tài)的搜索結構頁面(比如說,思億歐禁止搜索引擎收錄我們的搜索結構頁面。http://m.szxdx.com.cn/robots.txt)、404頁面、圖片目錄、登陸頁面等。

所有的搜索引擎蜘蛛自動在網(wǎng)站根目錄中尋找這個文件，因此，你需要做的只是創(chuàng)建它并上傳，然后等待蜘蛛來閱讀。Robots.txt文件沒有以任何方式來保護你的內(nèi)容，只是阻止搜索引擎索引。

下面，思億歐主要說明下Robots.txt文件的寫法。

1.如果你站點中的所有文件，都可以讓蜘蛛爬取、收錄的話，那么語法這樣寫:

User-agent: *
Disallow:

當時，如果你網(wǎng)站中全部的文件都可以讓搜索引擎索引的話，你也可以不管這個文件。

2.完全禁止搜索引擎來訪的Robots.txt文件寫法:

User-agent: *
Disallow: /

2.1.要禁止掉某個搜索引擎來訪的Robots.txt文件寫法:

User-agent: Googlebot
Disallow: /

3.網(wǎng)站中某個文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.禁止Google抓取網(wǎng)站中的圖片文件:

User-agent: Googlebot
Disallow: /*.gif$

Robots.txt文件，是網(wǎng)站與搜索引擎溝通的比較重要的一個方式。如果你對此還有疑問的話，歡迎通過郵件的方式，與我們溝通交流。cyz(#)seo.com.cn