mj12bot是什么蜘蛛?属于爬虫吗?需要怎么禁止?

mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫,虽然有蜘蛛来爬取网站是好事,但是禁不住量大,而且这个属于外链抓取的蜘蛛,暂时已经没什么意义了,分析外链已经成为过去式了。

禁止抓取方式:

在robots.txt里面加入进行了

User-agent: MJ12bot

Disallow: /

就可以了。

版权声明:本文由 鹿泽笔记 原创发布。

本文链接:https://www.bailuze.com/10023.html

许可协议:本文标题《mj12bot是什么蜘蛛?属于爬虫吗?需要怎么禁止?》,转载请注明文章出处及原始链接。

鹿泽
鹿泽

深耕 SEO优化 十二年,从个人博客爱好者到专业谷歌优化顾问的成长之路。技术派SEO、全域流量技术运营专家,拥有多年从业经验,热衷于分析算法逻辑与推理的精准匹配。