robots協(xié)議（也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等）也就是robots.txt，網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議是網(wǎng)站國際互聯(lián)網(wǎng)界通行的道德規(guī)范，其目的是保護(hù)網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個人信息和隱私不被侵犯。因其不是命令，故需要搜索引擎自覺遵守。一些病毒如malware（馬威爾病毒）經(jīng)常通過忽略robots協(xié)議的方式，獲取網(wǎng)站后臺數(shù)據(jù)和個人信息。

我們建立一個網(wǎng)站，有一些內(nèi)容是不希望搜索引擎收錄的，比如重復(fù)性的內(nèi)容，動態(tài)的頁面等，這些頁面被搜索引擎發(fā)現(xiàn)之后，會降低權(quán)重，從而影響收錄和排名，甚至有時候會導(dǎo)致被K站，這樣就得不償失了，這里小編就來教你如何設(shè)置wordpress的robots.txt

語法：

Disallow: /?s=
Allow:.htm$

Disallow: 是告訴搜索引擎不要收錄? /?s= 則是禁止收錄的鏈接

Allow是告訴搜索引擎可以收錄

具體如下：

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖

基于這個，小編這里給大家寫了一些針對wordpress的robots.txt：

1. 你的wordpress網(wǎng)站設(shè)置了偽靜態(tài)后綴，打開內(nèi)頁的域名和WEB主題公園一樣 是這樣子的：www.****.com/***.html，那么可以參考下面的robots.txt

User-agent: *
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: （填寫你的網(wǎng)站地圖xml）
# END XML-SITEMAP-PLUGIN

2.如果你的網(wǎng)站并沒有做偽靜態(tài)化，你的內(nèi)頁出現(xiàn)的是www.***.com/?P=123
那么可以使用下面的robots.txt：

User-agent: *
Disallow: /?s=
Disallow: /?feed=
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?tis=buy$
Disallow: /*?tis=dl$
Disallow: /*?tis=img$
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: （填寫你的網(wǎng)站地圖xml）
# END XML-SITEMAP-PLUGIN

以上內(nèi)容僅供參考，你的針對你自己的網(wǎng)站做出一些修改和選擇，最后轉(zhuǎn)寫完這些編碼之后，將他們保存在一個名為robots.txt的文檔中，上傳到網(wǎng)站的根目錄就OK了！? 是不是很簡單呢，如果你的wordpress網(wǎng)站還沒有設(shè)置robots.txt，那趕快去設(shè)置把！
希望以上文章對你有所幫助！