在做網(wǎng)站結構分析之前，要理解搜索引擎蜘蛛是擬人化的算法而已。算法就是按部就班的執行事先設計的抓取策略，所以良好的網(wǎng)站結構具備引導、分配權重、提高抓取效率等作用，只有內部框架搭建好之后，內容的布局才能井然有序，蜘蛛才能有序爬行。

事先應該考慮到的問(wèn)題：

蜘蛛是否實(shí)現邏輯上的全站抓取

蜘蛛是否可以區分頁(yè)面重要性

蜘蛛是否可以提取頁(yè)面的關(guān)鍵詞

一、邏輯上全站爬行

網(wǎng)站結構優(yōu)化

網(wǎng)站物理結構，即基于內容聚合的目錄及文件位置決定的結構。目前的主流思維就是網(wǎng)站扁平化設計，即平行結構。

鏈接結構優(yōu)化

兩種蜘蛛抓取不到的頁(yè)面：網(wǎng)站本身不希望被收錄的頁(yè)面;沒(méi)有鏈接到達的頁(yè)面，即孤島頁(yè)面。對于沒(méi)有被首頁(yè)推薦的頁(yè)面，可以再內鏈上補充。合理的內鏈就是一個(gè)四通八達、井然有序的交通系統，蜘蛛就是來(lái)往的車(chē)輛。社會(huì )化、描文本、設置鏈接入口等。

Domain結構優(yōu)化

主要是二級域名和二級目錄的選擇策略。沒(méi)有絕對的好與不好，就科易網(wǎng)小編來(lái)說(shuō)目前公司網(wǎng)站正在有二級域名網(wǎng)站結構向二級目錄轉變，只是采取適應當前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據自身特點(diǎn)選擇合理的domain策略。

二、重要性的主導

對于搜索引擎來(lái)說(shuō)，什么樣頁(yè)面會(huì )被認為“更重要”?有這么一句話(huà)：每個(gè)鏈接都是一個(gè)投票，意思是：頁(yè)面的所有鏈接都是投票。在搜索引擎看來(lái)：獲得更多內部投票的網(wǎng)頁(yè)相對來(lái)說(shuō)更加重要。

三、網(wǎng)頁(yè)的標簽：關(guān)鍵詞

搜索引擎在分析頁(yè)面的內容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標簽、alt標簽;最后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁(yè)面的“標簽”，即抓取的時(shí)頁(yè)面的定義的關(guān)鍵詞。