在這些年的SEO診斷中，我這里發(fā)現不低于20%的網(wǎng)站都存在著(zhù)一個(gè)嚴重的抓取問(wèn)題，但是奇怪的是，卻始終得不到大多數人的重視。而研究透徹并分享這個(gè)問(wèn)題的人，更是沒(méi)有發(fā)現。今天這篇文章，我們就來(lái)看一下這個(gè)問(wèn)題。

什么問(wèn)題呢?

連接超時(shí)，或者抓取超時(shí)，如果你的網(wǎng)站出現過(guò)這個(gè)問(wèn)題，至今沒(méi)有處理到位的，就把這篇文章轉載一下吧。

很多人說(shuō)，不就是幾十次的超時(shí)嗎?有什么大不了的，如果這樣認為，那么真的是活該網(wǎng)站做不好了，正常的網(wǎng)站是什么樣的呢?我們來(lái)舉個(gè)例子：

這是一個(gè)權重4的站點(diǎn)，哪怕十多萬(wàn)次的抓取，卻仍舊沒(méi)有出現過(guò)一次的抓取錯誤!如果你的每日抓取錯誤量超過(guò)10次(十天半個(gè)月就出現一次錯誤，或者連續多天出現的)，就真的應該嚴肅處理一下這個(gè)問(wèn)題了，因為當前問(wèn)題的存在，已經(jīng)長(cháng)期的制約了網(wǎng)站的發(fā)展上限，甚至因為這個(gè)問(wèn)題，誘發(fā)網(wǎng)站的降權，都一點(diǎn)不奇怪。

為什么會(huì )出錯?

有人說(shuō)，不用理會(huì )，這就是一個(gè)BUG，因為我在網(wǎng)站的LOG日志中，并沒(méi)有發(fā)現這個(gè)問(wèn)題。之前在百度站長(cháng)的VIP群里，有人這樣解釋過(guò)。但是我想說(shuō)的是：百度無(wú)法抓取到網(wǎng)站，你的網(wǎng)站LOG日志，能統計到這樣的錯誤嗎?所以，上述解釋是完全說(shuō)不過(guò)去的。

那么，為什么會(huì )出現這樣的錯誤呢?

A，DNS問(wèn)題，無(wú)論是蜘蛛還是用戶(hù)訪(fǎng)問(wèn)網(wǎng)站，首先就需要域名的DNS做了正確的解析，然而解析是解析了，你能確定DNS真的穩定嗎?不少站點(diǎn)的錯誤，正是因為DNS不穩定而造成的。尤其是那些又做域名注冊，又搞‘域名搶注’的平臺，這樣的平臺，更容易出現DNS解析不穩定的情況，尤其是在搶注高峰期。具體哪些品牌，這個(gè)就不點(diǎn)名了，如果你的域名在這些平臺中，賀貴江強烈建議你將其轉出。

B，頁(yè)面太大，有一些網(wǎng)站的部分頁(yè)面達到了四五六七八兆的情況，甚至還見(jiàn)過(guò)極少的網(wǎng)站出現過(guò)一個(gè)頁(yè)面有10MB大小。這樣的頁(yè)面，更容易出現鏈接超時(shí)。正常情況，并不建議網(wǎng)站的頁(yè)面大小超過(guò)3MB，同時(shí)建議網(wǎng)站服務(wù)器啟用GZIP壓縮。

C，帶寬不足，這是一個(gè)很常見(jiàn)的情況，不少站點(diǎn)出現鏈接超時(shí)都是因為帶寬不足而引發(fā)的。我們知道1M的帶寬峰值下載是128KB，如果網(wǎng)站是1M接入，頁(yè)面大小是256KB，如果同時(shí)2個(gè)人在打開(kāi)頁(yè)面，那么就需要4秒才可以下載完畢。如果帶寬是2MB，頁(yè)面大小是1024KB，一個(gè)人打開(kāi)網(wǎng)站需要8秒，可如果是10個(gè)人同時(shí)打開(kāi)呢?所以帶寬這里，一定要做足。站長(cháng)或者企業(yè)都應當觀(guān)察一下站點(diǎn)的平均帶寬，以及峰值帶寬情況，如果經(jīng)常出現‘帶寬峰值’類(lèi)型的訪(fǎng)問(wèn)，那么就一定要升級帶寬了。

D，首字節時(shí)間，可能很多同學(xué)沒(méi)有聽(tīng)說(shuō)過(guò)這個(gè)問(wèn)題，它指的是從發(fā)送請求到WEB服務(wù)器的時(shí)間+WEB服務(wù)器處理請求并生成響應花費的時(shí)間。有一些站點(diǎn)，首字節時(shí)間居然都可以達到5MS，這樣的情況，網(wǎng)站還能正常嗎?

1、對于首字節時(shí)間這里，我們應當注意：避免網(wǎng)站與其他網(wǎng)站共享同一個(gè)服務(wù)器其他網(wǎng)站會(huì )占用自身網(wǎng)站服務(wù)器處理時(shí)間。

2、CDN減少內容和訪(fǎng)問(wèn)者之間的“距離”將靜態(tài)內容分發(fā)到CDN，CDN的內容自動(dòng)復制到各個(gè)位置，在地理上更接近用戶(hù)，從而減少TTFB的時(shí)間。注意的是，已定要設置‘緩存時(shí)間’針對于網(wǎng)站訪(fǎng)問(wèn)較慢的頁(yè)面或欄目。

3、避免網(wǎng)站使用虛擬主機系統如網(wǎng)站在一段時(shí)間未有流量產(chǎn)生，系統會(huì )推遲或暫停虛擬服務(wù)器，當新訪(fǎng)客進(jìn)入時(shí)，將重新進(jìn)行服務(wù)器備份處理(10s或更長(cháng)時(shí)間);

4、后端優(yōu)化軟件性能減少服務(wù)器生成的響應到瀏覽器的時(shí)間，比如：操作碼緩存、服務(wù)器端緩存、本地緩存、W3總緩存等。

最后，我們總結一下：

首先是為網(wǎng)站找一家靠譜的DNS服務(wù)商，我們建議是阿里云，其次是穩定的CDN服務(wù)商，阿里、百度智能云、騰訊云，都可以。最后就是網(wǎng)站服務(wù)器，盡量不要選擇使用虛擬主機，且盡量避免多個(gè)站點(diǎn)使用相同服務(wù)器。

作者：賀貴江

來(lái)源：盧松松博客，歡迎分享