Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: mauibot	开始配置：mauibot
Disallow: /	禁止mauibot访问网站的任何部分
User-agent: semrushbot	开始配置：semrushbot
Disallow: /	禁止semrushbot访问网站的任何部分
User-agent: ahrefsbot	开始配置：ahrefsbot
Disallow: /	禁止ahrefsbot访问网站的任何部分
User-agent: AAABot	开始配置：AAABot
Disallow: /	禁止AAABot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /admin/	禁止所有搜索引擎访问/admin目录
Disallow: /auth/	禁止所有搜索引擎访问/auth目录
Disallow: /assets/browser-update*.js	禁止所有搜索引擎访问/assets目录下的*browser-update.js**文件
Disallow: /email/	禁止所有搜索引擎访问/email目录
Disallow: /session	禁止所有搜索引擎访问/session目录（包括子目录）
Disallow: /user-api-key	禁止所有搜索引擎访问/user-api-key目录（包括子目录）
Disallow: /?api_key	禁止所有搜索引擎访问所有带参数为api_key*的页面
Disallow: /?api_key*	禁止所有搜索引擎访问所有带参数为*api_key*的页面
Disallow: /badges	禁止所有搜索引擎访问/badges目录（包括子目录）
Disallow: /u	禁止所有搜索引擎访问/u目录（包括子目录）
Disallow: /my	禁止所有搜索引擎访问/my目录（包括子目录）
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /tag	禁止所有搜索引擎访问/tag目录（包括子目录）
Disallow: /g	禁止所有搜索引擎访问/g目录（包括子目录）
Disallow: /t//.rss	禁止所有搜索引擎访问/t/目录下所有以.rss*为后缀的文件
Disallow: /c/*.rss	禁止所有搜索引擎访问/c目录下所有以.rss为后缀的文件
User-agent: Googlebot	开始配置：Googlebot
Disallow: /auth/	禁止Googlebot访问/auth目录
Disallow: /assets/browser-update*.js	禁止Googlebot访问/assets目录下的*browser-update.js**文件
Disallow: /email/	禁止Googlebot访问/email目录
Disallow: /session	禁止Googlebot访问/session目录（包括子目录）
Disallow: /?api_key	禁止Googlebot访问所有带参数为api_key*的页面
Disallow: /?api_key*	禁止Googlebot访问所有带参数为*api_key*的页面
Sitemap: https://meta.appinn.net/sitemap.xml	Sitemap地址： https://meta.appinn.net/sitemap.xml
User-agent: *	开始配置：所有搜索引擎

活动推荐

Robots检测