网站SemrushBot是什么蜘蛛?要不要屏蔽?可不可以屏蔽?屏蔽SemrushBot蜘蛛的方法?

发现一个不常见的蜘蛛SemrushBot,访问不正常的页面URL,我就觉得神奇了,怎么老是访问评论数据处理文件和一些错误处理文件,根本不是正常的蜘蛛。

最近有用户反映,他们发现有一些不认识的搜索引擎蜘蛛在抓取他们的网站,其中抓取最频繁的是一个叫SemrushBot的蜘蛛,他们咨询悦然网络工作室这个蜘蛛是否有害,是否需要屏蔽。

那么要不要屏蔽 SemrushBot/1.2~bl呢,查看了网上的消息,也有其它人发现它的踪迹。

这是中文介绍。以下是官方简介:
A bot, also known as a web robot, web spider or web crawler, is a software application designed to automatically perform simple and repetitive tasks in a more effective, structured, and concise manner than any human could ever do.
The most common use of bots is in web spidering or web crawling.
SEMrushBot is the search bot software that SEMrush sends out to discover and collect new and updated web data.
Data collected by SEMrushBot is used in:
the AdSense (Display Advertising) reports
the public backlink search engine index maintained as a dedicated tool called “SEMrush backlinks” (web graph of links)
the Site Audit tool that analyzes on-page SEO, technical and u****lity issues

 

需要屏蔽吗?

即然SemrushBot蜘蛛对我们的网站没有害处,那么我们也就不用对它进行屏蔽了。不过也有例外情况,如果你的网站服务器配置比较差,过多的蜘蛛抓取可能会影响网站速度,所以你也可以选择对SemrushBot蜘蛛进行屏蔽,操作如下:

打开网站robots.txt文件,把下面的两行内容加进去就可以了。

user-agent: SemrushBot 
disallow: / 

总结

一般情况下,对一个网站来说,搜索引擎蜘蛛的抓取是多多益善的,当然前提得是正规蜘蛛,同时你的网站服务器也需要有足够的承受蜘蛛抓取的能力。

 

屏蔽SemrushBot的方法,在robots.txt文件中添加:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

联盟模板库,您的建站源码之家
联盟模板库 » 网站SemrushBot是什么蜘蛛?要不要屏蔽?可不可以屏蔽?屏蔽SemrushBot蜘蛛的方法?

联盟模板库,您的建站源码之家

立即查看 了解详情