今日發(fā)現(xiàn)，有好多同學(xué)開始玩WordPress了，很高興有些志同道合的朋友加入WP的大家庭。可是，不管你的水平如何，只要你是站長，就有必要懂的Robots.txt的寫法與作用。近日，小站的?p=XX頁面老是出現(xiàn)在百度收錄中，雖然有增加收錄的作用，但是會對網(wǎng)站權(quán)重造成影響。所以我采取了一系列的措施來避免過多的重復(fù)頁面抓取。

其實(shí)，我從一開始就做了Robot的優(yōu)化工作，只不過搬空間時(shí)候忘了那個(gè)Robots文件了……一失足成千古恨，博客收錄降了好多……WordPress的優(yōu)化還是做得很好的，雖然有些地方需要借助自己對Html等小知識的掌握，但這并不妨礙你把WordPress站點(diǎn)打造成優(yōu)化典范！

下面我分享一下自己博客的Robots文件，并簡單的說一下作用。

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

Sitemap: http://***.me/sitemap.xml

Sitemap: http://***.me/sitemap_baidu.xml

上面的User-agent:*意思就是對所有的蜘蛛進(jìn)行規(guī)則，Disallow想必大家英文稍微會一點(diǎn)的都懂。比如Disallow: /page/意思就是不要抓取/page下面的網(wǎng)頁，以免造成降權(quán)。

晚上見有童鞋將Disallow: /*?replytocom=和Disallow: /*/comment-page-*類似的寫成Disallow: *?replytocom=以及Disallow:*/comment-page-*特意說明一下，在百度官方的說明中，Disallow的地址必須以/這個(gè)斜杠開頭，不加這個(gè)雖然可以但是不符合標(biāo)準(zhǔn)。

筆者認(rèn)為：半懂不懂我們學(xué)習(xí)不應(yīng)該有，可有可無這個(gè)還是有著比較好！標(biāo)準(zhǔn)在那里，咱們就看標(biāo)準(zhǔn)來吧！希望大家可以多多交流，共同學(xué)習(xí)！有錯(cuò)誤請及時(shí)更正指出，謝謝！

在最后祝愿玩WordPress的同學(xué)技術(shù)步步高，WordPress建站值得你堅(jiān)持下去，希望看到越來越多的網(wǎng)友有自己的建站一周年紀(jì)念文章出現(xiàn)！