加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 黄冈站长网 (http://www.0713zz.com/)- 数据应用、建站、人体识别、智能机器人、语音技术!
当前位置: 首页 > 运营中心 > 建站资源 > 优化 > 正文

SEO蜘蛛只爬取首页,啥原因,怎么解决?

发布时间:2021-11-12 11:05:36 所属栏目:优化 来源:互联网
导读:如今最让seoer挠头的并不是排名问题,而是收录,近一年来,百度对收录机制进行调整,很多网站得不到收录,更谈不上排名了,但虽然百度不愿意收录,不过总会收录,如果只是收录首页,而不收内页,就不仅仅是百度的问题了,那么,百度爬虫只爬取首页,什么原
如今最让seoer挠头的并不是排名问题,而是收录,近一年来,百度对收录机制进行调整,很多网站得不到收录,更谈不上排名了,但虽然百度不愿意收录,不过总会收录,如果只是收录首页,而不收内页,就不仅仅是百度的问题了,那么,百度爬虫只爬取首页,什么原因,怎么解决?  
 
SEO蜘蛛只爬取首页,什么原因,怎么解决?
 
1.robots协议  
 
首先你应该排查的是robots.txt文件的规则是否有问题,你可以通过输入:你的域名/robots.txt,来打开这个文件,其中allow:后面显示的是放行哪些页面,我们一般不填写,而disallow:后面写的便是禁止抓取的页面,如果你不小心将网站url填写进去就会导致蜘蛛不抓取的问题,解决这个问题,你可以参考,各大robots生成工具,提供的解释。  
 
然后通过FTP或服务器下载这个文件,一般放置在后台根目录中,修改后上传到根目录就可以了。  
 
2.网站内容  
 
一般来说robots出现问题还不是特别多,如果就是不会,也可以不设置,不过有很多不收录并不是因为这个原因,比如因为内容导致的内页不收录。  
 
你可以通过查看网站日志来判断,蜘蛛是否爬取了内页,如果爬行了内页,只是没有收录,那么你应该检测你的网站内容是否是原创内容,是否对用户和搜索引擎有意义,如果是大量采集,不收录是对的,但并不是不抓取,你需要修改原内容,提高原创度,并且提交url,慢慢就会有收录。  
 
3.新站沙盒  
 
还有就是如果是新站,只是收录首页,也是正常的,几乎每一个新站百度都会给予一个考察期,如果你是新域名,更是逃不了沙盒期的命运,因此你也不必过多感觉纳闷,只要有蜘蛛爬行就好,保持内容更新、保持内容原创率,一般经过一个月以上就会有内页收录,当然如果添加一定量的外链会缩短沙盒期的时间。  
 
4.网站被黑  
 
还有一种是网站被黑,被植入病毒或被恶意修改了设置而导致的,一般我们可以通过ftp日志或服务器杀毒来发现、解决这个问题,因此我们应该经常性的做网站备份,及时打好网站漏洞补丁,对密码的管理也需要注意,密码的复杂性,防止被穷举而破解。  
 
关于服务器被黑而导致百度蜘蛛只爬行首页的问题,并不是特别常见,因此我们如果遇到只有首页收录,不收录内页,首先应该考虑之前的几种影响因素。  
 
总结:关于SEO蜘蛛只爬取首页,什么原因,怎么解决的问题,我们就讨论到这里,以上内容,仅供参考。  

(编辑:PHP编程网 - 黄冈站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读