如何排除无关蜘蛛爬虫干扰高质搜索引擎蜘蛛获取网站
发布时间：2022-07-14 13:13:46 所属栏目：优化 来源：互联网
导读：在搜索引擎优化过程中，你是否遇到过这样的问题：服务器访问的CPU利用率接近，页面加载速度特别慢，似乎受到了DDoS的攻击。 经过回顾，我发现原来的目标网站经常被大量无关的爬虫抓走，这对一个小网站来说可能是一场灾难。 因此，在进行网站优化时，我们需
|
在搜索引擎优化过程中，你是否遇到过这样的问题：服务器访问的CPU利用率接近，页面加载速度特别慢，似乎受到了DDoS的攻击。 经过回顾，我发现原来的目标网站经常被大量无关的“爬虫”抓走，这对一个小网站来说可能是一场灾难。 因此，在进行网站优化时，我们需要有选择地引导特定的蜘蛛。 根据以往SEO经验分享，优帮云SEO小编将通过以下几点来阐述： 一、搜索引擎爬虫 对于国内的小伙伴来说，我们都知道在SEO的过程中，我们面对的常见的爬虫就是搜索引擎的爬虫，比如百度蜘蛛，还有各种搜索引擎的蜘蛛，比如： ①360Spider、SogouSpider、Bytespider ②Googlebot、Bingbot、Slurp、Teoma、iauarchiver、twiceler、MSNBot ③其他爬行动物 如果不故意配置robots.txt文件，理论上，可以对目标页进行爬网和爬网。然而，对于一些中小型网站来说，它偶尔会浪费自己的服务器资源。 此时，我们需要做出有选择性、合理的指导，特别是一些尴尬的问题，比如：你希望谷歌减少对网站的爬网，但不能完全屏蔽它，你可能需要一些提示，比如：对于具体的爬网访问，反馈不同的文章列表： ①控制更新频率表 ②反馈重复性强，内容农场页面 ③善意的“蜘蛛陷阱”，如flash ④如何调整对方的SEO管理平台，获取评论并进行适当调整 虽然这样的策略很可能会对页面声誉造成损害，但我可以想出一个相对“有效”的方法，合理控制那些不想频繁爬行但需要不断爬行的蜘蛛的爬行。 二、蜘蛛池爬行动物 目前，市面上有很多人做百度蜘蛛池，其主要目的是协助更多的页面做百度快速收录，但由于一些随意下载蜘蛛池的程序设计不规范。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号