Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent:*	开始配置：所有搜索引擎
Disallow:/admin/	禁止所有搜索引擎访问/admin目录
Disallow:/register	禁止所有搜索引擎访问/register目录（包括子目录）
Disallow:/login	禁止所有搜索引擎访问/login目录（包括子目录）
Disallow:/assets	禁止所有搜索引擎访问/assets目录（包括子目录）
Disallow:/m/auth	禁止所有搜索引擎访问/m/auth目录（包括子目录）
Disallow:/my/	禁止所有搜索引擎访问/my目录
Disallow:/view/i/	禁止所有搜索引擎访问/view/i目录
Disallow:/user/i/	禁止所有搜索引擎访问/user/i目录
Disallow:/app/i/	禁止所有搜索引擎访问/app/i目录
Disallow:/auth/	禁止所有搜索引擎访问/auth目录
Disallow:/doctor/	禁止所有搜索引擎访问/doctor目录
Disallow:/people/	禁止所有搜索引擎访问/people目录
Disallow:/setting/	禁止所有搜索引擎访问/setting目录
Disallow: /search/*	禁止所有搜索引擎访问/search下的所有文件
Disallow: /column/?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /cgi-bin/*	禁止所有搜索引擎访问/cgi-bin下的所有文件
Disallow: /search*	禁止所有搜索引擎访问根目录下以search开头的目录（包括子目录）
Disallow: /keyword	禁止所有搜索引擎访问所有包含keyword的文件
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分

活动推荐

Robots检测