Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /tpl/pc/webgame/	禁止所有搜索引擎访问/tpl/pc/webgame目录
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /game/detail/	禁止所有搜索引擎访问/game/detail目录
Disallow: /game/2/	禁止所有搜索引擎访问/game/2目录
Disallow: /game/down*	禁止所有搜索引擎访问/game目录下以down开头的目录（包括子目录）
Disallow: /game/downs*	禁止所有搜索引擎访问/game目录下以downs开头的目录（包括子目录）
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /public/	禁止所有搜索引擎访问/public目录
Disallow: /ng-*	禁止所有搜索引擎访问根目录下以ng-开头的目录（包括子目录）
Disallow: /*/commentlist/	禁止所有搜索引擎访问*//commentlist**目录
Disallow: /*/eventlist/	禁止所有搜索引擎访问*//eventlist**目录
User-agent: Baiduspider-news	开始配置：Baiduspider-news
Disallow: /sys/	禁止Baiduspider-news访问/sys目录
Disallow: /sys/nav/nav/	禁止Baiduspider-news访问/sys/nav/nav目录
Disallow: /sys/list/mdl/	禁止Baiduspider-news访问/sys/list/mdl目录
Disallow: /sys/list/cate/	禁止Baiduspider-news访问/sys/list/cate目录
Disallow: /sys/prd/prd/	禁止Baiduspider-news访问/sys/prd/prd目录