怎么讓百度蜘蛛經常來自己的網站

qiyou 2019-8-8 1739

  搜索引擎抓住您的網站將內容放入其索引中。您的網站越大,抓取它所需的時間就越長。捕獲在您網站上花費的時間非常重要。如果您的網站有1,000頁或更少,那么這不是您需要考慮的主題。如果您想開發自己的網站,請繼續閱讀。盡早養成一些好習慣可以避免以后遇到大麻煩。在本文中,我們將介紹爬行的效率和您可以采取的措施。

  所有搜索引擎都以相同的方式爬行。在本文中,我們將引用百度。

 一、抓取工具如何抓取您的網站?

  百度會在網絡上找到您網站的鏈接。此時,URL是虛擬堆的開頭。之后,過程非常簡單:

  百度蜘蛛從那堆中獲取一頁。

  它抓取所有內容的頁面和索引,以便在百度中使用。

  然后它將頁面上的所有鏈接添加到堆中。

  百度蜘蛛在抓取過程中可能會遇到重定向。它被重定向到堆上的URL。

  您的主要目標是確保百度蜘蛛可以訪問網站上的所有頁面。第二個目標是確??焖俨东@新的和更新的內容。一個好的網站架構將幫助您實現這一目標。不過,您仍然可以很好地維護您的網站。

  二、爬行深度

  在談論爬行時,一個重要的概念是爬行深度的概念。假設您有一個鏈接,從您網站上的一個網站到一個頁面。此頁面鏈接到另一個,另一個,另一個,等等。百度蜘蛛將繼續爬行一段時間。但在某些時候,它決定不再需要繼續爬行。發生這種情況時,它取決于鏈接到第一頁的重要性。

  這似乎是理論上的,所以讓我們看一個實際的例子。如果您有10,000個帖子,則所有帖子屬于同一類別,每個頁面上顯示10個帖子。這些頁面僅鏈接到“下一頁”和“最后一頁”。百度需要獲得1,000頁才能獲得這10,000個帖子中的第一個。在大多數網站上,它不會這樣做。

  這就是為什么重要的是:

  使用類別/標簽和其他分類法進行更細粒度的分割。不要過度使用它們。經驗表明,標簽僅在連接三個以上內容時才有用。此外,請確保優化這些類別的文件。

  鏈接到帶有數字的更深層頁面,因此百度蜘蛛可以更快地到達目的地。假設您在第1頁上鏈接了第1頁到第10頁并繼續這樣做。在上面的示例中,最深的頁面只有100次點擊遠離主頁。

  保持您的網站快速。您的網站越慢,抓取時間越長。

  三、XML站點地圖和抓取效率

  您的站點應該有一個或多個XML站點地圖。這些XML站點地圖告訴百度您的網站上存在哪些網站。一個好的XML站點地圖還會指示您上次更新特定URL的時間。大多數搜索引擎比其他搜索引擎更頻繁地從XML站點地圖中獲取URL。

  在百度搜索控制臺中,XML站點地圖為您提供了額外的好處。對于每個站點地圖,百度都會向您顯示錯誤和警告。您可以通過為不同類型的URL創建不同的XML站點地圖來完成此操作。這意味著您可以查看哪些類型的網站問題最多。

  四、爬行效率低的問題

  1、許多404和其他錯誤

  當它抓取您的網站時,百度將遇到錯誤。它通常只是從堆中選擇下一頁。如果你在抓取過程中犯了很多錯誤,百度蜘蛛會放慢速度。之所以這樣做是因為它擔心它會因為爬得太快而犯錯誤。為防止百度蜘蛛減速,您需要盡可能多地修復錯誤。

  百度將在其網站管理員工具中向您報告所有這些錯誤,360和Sogou也是如此。我們之前在百度搜索控制臺和360網站管理員工具中引入了錯誤。

  你不會是我們看到的第一個客戶。它在百度搜索控制臺中有3,000個實際網址和20,000個錯誤。不要將您的網站變成網站。每月至少定期修復一次這些錯誤。

  2、301過重定向

  我最近咨詢了剛剛完成域名遷移的網站。該網站非常龐大,因此我使用我們的某個工具對網站進行完全抓取,以查看我們應該修復的內容。顯然我們有一個大問題。此站點上的大量URL始終鏈接到沒有尾部斜杠。如果您使用沒有尾部斜杠的此類URL,則重定向301.您將被重定向到帶斜杠的版本。

  如果您的一個或兩個網站出現問題并不重要。實際上,這通常是主頁的問題。如果這是您網站上250,000個網站的問題,那么這是一個更大的問題。百度蜘蛛不需要搶占250,000個網站,而是50萬個。這不是很有效。

  這就是為什么在更改網站時應始終嘗試更新網站中的鏈接的原因。如果不這樣做,隨著時間的推移,您將獲得越來越多的301重定向。這將降低您的抓取速度和用戶速度。大多數系統需要一秒鐘進行服務器重定向。這為頁面加載時間增加了另一秒。

  3、蜘蛛陷阱

  如果您的網站在百度眼中更具權威性,那么就會發生一些有趣的事情。即使很明顯鏈接沒有意義,百度也會抓住它們。百度虛擬相當于一個無限螺旋樓梯,它將繼續前進。

  這就是我們所說的“蜘蛛陷阱”。像這樣的陷阱會使搜索引擎無法有效地爬行。修復它們幾乎總能在自然搜索中產生更好的結果。您的網站越大,找到的難度就越大。即使是經驗豐富的SEO也是如此。

推云網站優化招商 ??電話(微信):13107613013 ??qq:205915398?


上一篇:網站流量來源的途徑
下一篇:圖片優化在seo中的重要性
最新回復 (0)
返回
發新帖
激情婷婷,亚洲男男激情videos高清,国产白丝jk捆绑电击捆绑调教,电子厂女厕偷拍高清毛茸茸