站長通過查看網站訪問日志的時候，可以看到搜索引擎蜘蛛爬行的頁面以及頻率和返回碼，從而讓站長知道蜘蛛抓取了網站的哪些頁面，哪些內容，然而在某些情況下，站長在分析網站日志的時候，搜索引擎的蜘蛛只爬行了網站首頁，并沒有繼續往下爬行內頁的文章，那么百度蜘蛛只抓取網站首頁的問題應該如何解決呢。

 

1、分析網站內部優化是否完善

在現在算法不斷的升級的情況下，SEO技術已經不是單純的去迎合某個搜索引擎，而是從用戶的體驗度來對網站進行綜合的考量，搜索引擎的蜘蛛只抓取首頁，首先要判斷網站的內部優化是否完善，網站首頁是否用來大量的腳本文件，flash文件等，網站的首頁是否標準化的使用H標簽。

 

2、robots設置錯誤

在通過日志分析出蜘蛛只抓取首頁的情況，可以檢查網站根目錄下robots.txt文件是否設置出錯，導致網站內頁限制蜘蛛爬行，檢查robots文件內容里面的通配符是否用錯了，同時查看網站服務器是否有限制策略。
 

3、網站文章內容

通過網站日志的返回碼可以看到，每次蜘蛛抓取網站首頁返回的值，判斷蜘蛛的抓取情況，同時優化網站的文章內容，盡量以原創為主，SEO是門長期的技術活，堅持原創內容，同時將原創內容進行提交到各大搜索引擎，蜘蛛只抓取首頁不抓取內容的情況將得到很好的解決。

以上就是百度蜘蛛只抓取網站首頁的解決辦法，同時站長在網站優化的時候，可以制作出sitemap.xml的地圖，將sitemap.xml放置在robots.txt內，能有效的提高蜘蛛對網站內頁的抓取。