百度蜘蛛只抓取网站首页怎么解决

桂林seo半杯酒博客

站长通过查看网站访问日志的时候,可以看到搜索引擎蜘蛛爬行的页面以及频率和返回码,从而让站长知道蜘蛛抓取了网站的哪些页面,哪些内容,然而在某些情况下,站长在分析网站日志的时候,搜索引擎的蜘蛛只爬行了网站首页,并没有继续往下爬行内页的文章,那么百度蜘蛛只抓取网站首页的问题应该如何解决呢。

百度蜘蛛只抓取网站首页怎么解决

 

1、分析网站内部优化是否完善

在现在算法不断的升级的情况下,SEO技术已经不是单纯的去迎合某个搜索引擎,而是从用户的体验度来对网站进行综合的考量,搜索引擎的蜘蛛只抓取首页,首先要判断网站的内部优化是否完善,网站首页是否用来大量的脚本文件,flash文件等,网站的首页是否标准化的使用H标签。

 

2、robots设置错误

在通过日志分析出蜘蛛只抓取首页的情况,可以检查网站根目录下robots.txt文件是否设置出错,导致网站内页限制蜘蛛爬行,检查robots文件内容里面的通配符是否用错了,同时查看网站服务器是否有限制策略。
 

3、网站文章内容

通过网站日志的返回码可以看到,每次蜘蛛抓取网站首页返回的值,判断蜘蛛的抓取情况,同时优化网站的文章内容,尽量以原创为主,SEO是门长期的技术活,坚持原创内容,同时将原创内容进行提交到各大搜索引擎,蜘蛛只抓取首页不抓取内容的情况将得到很好的解决。

以上就是百度蜘蛛只抓取网站首页的解决办法,同时站长在网站优化的时候,可以制作出sitemap.xml的地图,将sitemap.xml放置在robots.txt内,能有效的提高蜘蛛对网站内页的抓取。