robots.txt文件，是每一個(gè)搜索引擎蜘蛛到你的網(wǎng)站之后要尋找和訪(fǎng)問(wèn)的第一個(gè)文件，robots.txt是你對搜索引擎制定的一個(gè)如 何索引你的網(wǎng)站的規則。通過(guò)該文件，搜索引擎就可以知道在你的網(wǎng)站中哪些文件是可以被索引的，哪些文件是被拒絕索引的。我們就可以很方便地控制搜索引擎索引網(wǎng)站內容了。 在很多網(wǎng)站中，站長(cháng)們都忽略了使用robots.txt文件。

因為很多站長(cháng)都認為，自己的網(wǎng)站沒(méi)有什么秘密可言，而且自己也不太會(huì )使用robots.txt的語(yǔ)法，因此一旦寫(xiě)錯了會(huì )帶來(lái)更多的麻煩，還不如不用。 其實(shí)這樣的做法是不對的。如果蜘蛛在某個(gè)網(wǎng)站上訪(fǎng)問(wèn)了一個(gè)不存在的URL，那么就會(huì )記錄下一條404信息（網(wǎng)頁(yè)不存在），而robots.txt作為蜘蛛訪(fǎng)問(wèn)網(wǎng)站的第一個(gè)文件，一旦搜索引擎找不到這個(gè)文件，也會(huì )在它的索引服務(wù)器上記錄下一條404信息。如果這樣的404信息過(guò)多，那么搜索引擎蜘蛛就會(huì )認為該網(wǎng)站價(jià)值較低，從而降低對該網(wǎng)站的“印象分”，這就是我們經(jīng)常會(huì )聽(tīng)到的“降低權重”。

“權重”是一個(gè)影響網(wǎng)站在搜索引擎排名中非常重要的因素，如果網(wǎng)站的權重高，那么搜索引擎蜘蛛也會(huì )頻繁地訪(fǎng)問(wèn)該網(wǎng)站，而且網(wǎng)站排名也好。如果權重低，那么搜索引擎蜘蛛對于網(wǎng)站的訪(fǎng)問(wèn)次數也相應的要少，同時(shí)網(wǎng)站排名較差。而網(wǎng)站的權重是由很多條件所積累的，404信息就是很重要的一條，因此不得不重視。 雖然在百度的幫助文件中，有這樣的一句話(huà)“請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上的所有內容，請 勿建立robots.txt文件”。

實(shí)際上百度只是擔心由于網(wǎng)站管理員不懂得robots.txt語(yǔ)法，導致搜索引擎蜘蛛無(wú)法正常抓取網(wǎng)站，才這樣寫(xiě)的。建立robots.txt文件還是必需的，哪怕這個(gè)robots.txt文件是一個(gè)空白的文本文檔都可以。因為我們的網(wǎng)站畢竟不是僅僅會(huì )被百度收錄，同時(shí)也會(huì )被其他搜索引擎收錄，上傳一個(gè)空白的robots.txt文件，至少不會(huì )導致一條404信息的產(chǎn)生。

本文來(lái)源：裕順網(wǎng)絡(luò )www.ahyushun.com如有轉載請注明出處