搜索引擎工作的流程是非常復雜的，今天桂林眾騰網(wǎng)絡介紹在蜘蛛在對網(wǎng)頁進行爬行和抓取過程中，對我們網(wǎng)站優(yōu)化有重要影響的幾個部分。

      當搜索引擎蜘蛛準備爬行某個網(wǎng)頁的時候，會對服務器發(fā)出訪問申請，申請通過后，搜索引擎會先去爬行網(wǎng)站的robots.txt文件，針對robots.txt文件中所禁止搜索引擎抓取的部分，搜索引擎將不會去抓取。接著服務器就會給搜索引擎返回當前頁面的html代碼，現(xiàn)在有很多的站長工具中都會有模仿蜘蛛抓取網(wǎng)頁代碼的功能，大家有興趣可以去查詢，這里值得注意的就是頁面代碼中漢字所占的比例，因為搜索引擎在預處理階段會把漢字部分篩選出來分析網(wǎng)頁的內容和關鍵詞，漢字所占比例越多說明網(wǎng)頁返回的有效信息越多，越有利于搜索引擎對頁面的分析。這也就是為什么大家在編寫網(wǎng)站代碼的時候，會對CSS和Javascript代碼進行外部調用，對圖片要添加alt屬性，對鏈接要添加title屬性的緣故，都是為了降低頁面代碼所占的比例，提高文字所占比例，當然相關性也是一方面。

      搜索引擎爬行網(wǎng)頁都是沿著鏈接進行爬行的，在爬行網(wǎng)頁的時候并不是一個蜘蛛在爬行，一般都是由多個蜘蛛進行爬行，爬行的方式有兩種，一種是深度爬行，一種是廣度爬行，兩種方式都可以爬遍一個網(wǎng)站的所有鏈接，通常都是兩種方式并行的，但實際上由于資源的限制，搜索引擎并不會爬遍一個網(wǎng)站的所有鏈接。

      既然搜索引擎不可能爬遍整個網(wǎng)站的所有鏈接，那么我們seoer接下來的工作就是要吸引蜘蛛盡可能多的去爬行網(wǎng)站鏈接，為蜘蛛的爬行創(chuàng)造輕松便利的環(huán)境，尤其是針對一些重要的鏈接。

      如何去吸引蜘蛛呢？影響蜘蛛爬行的因素有哪些呢？

      1.網(wǎng)站的權重。一個權重高的網(wǎng)站，蜘蛛往往會爬行的很深，關于如何提高網(wǎng)站的權重，大家可以去參考狄吉堂網(wǎng)站seo博客中的影響網(wǎng)站權重計算的因素有哪些和如何提高網(wǎng)站權重的五種方式兩篇文章。

      2.頁面是否經(jīng)常更新。這是一個老生常談的問題了，雖然網(wǎng)站的更新和維護工作異常的辛苦，但是沒辦法，人家搜索引擎就喜歡新鮮的血液，如果網(wǎng)站的更新比較勤快的話，搜索引擎自然來的也勤快，來的多了，新鏈接被抓取的幾率當然也就大了。

      3.高質量導入鏈接。一個頁面的導入鏈接相當于頁面的入口，原理很簡單，導入鏈接多了，搜索引擎進入你網(wǎng)頁的渠道也就多了，如果是一條高質量的導入鏈接，那么搜索引擎對網(wǎng)頁鏈接爬行的深度也會增加。

      4.與首頁距離越近的鏈接，被爬行的幾率越大。一個網(wǎng)站的首頁是權重最高的，那么距離它越近的頁面，被賦予的權重也會越高，被蜘蛛爬行的幾率當然越大，這是網(wǎng)站seo優(yōu)化中常用到的一個就近原理，可以應用到很多方面，比如網(wǎng)站的主導航中第一個欄目比最后一個欄目的權重高，距離錨文本越近的文字是搜索引擎重點照顧的地方等等。

      當搜索引擎對頁面進行抓取之后，會將頁面中的鏈接解析出來，通過與地址庫中的鏈接進行匹配對比分析，將沒有進行爬行的新鏈接放入到待訪問地址庫，然后派出蜘蛛對新鏈接進行爬行。

      在搜索引擎對網(wǎng)頁進行爬行和抓取的時候，并不是進行簡單的爬行和抓取工作，而是同時并發(fā)有大量的其他操作，其中很重的一項工作就是對網(wǎng)頁內容進行檢測，通過截取網(wǎng)頁上的內容與數(shù)據(jù)庫中的信息做對比，如果是一些權重比較低的網(wǎng)站出現(xiàn)大量轉載或者偽原創(chuàng)，可能蜘蛛爬行到一半就會離開，這也就是為什么通過網(wǎng)站日志看到有蜘蛛來，但是頁面沒被收錄的原因。所以說，即使是進行偽原創(chuàng)，也是需要一定的技巧的，除非你的網(wǎng)站權重特別高。