Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /plugin/	禁止所有搜索引擎访问/plugin目录
Disallow: /mobile/	禁止所有搜索引擎访问/mobile目录
Disallow: /storage	禁止所有搜索引擎访问/storage目录（包括子目录）
Disallow: /bbs/api/	禁止所有搜索引擎访问/bbs/api目录
Disallow: /bbs/data/	禁止所有搜索引擎访问/bbs/data目录
Disallow: /bbs/source/	禁止所有搜索引擎访问/bbs/source目录
Disallow: /bbs/template/	禁止所有搜索引擎访问/bbs/template目录
Disallow: /bbs/config/	禁止所有搜索引擎访问/bbs/config目录
Disallow: /bbs/uc_client/	禁止所有搜索引擎访问/bbs/uc_client目录
Disallow: /bbs/uc_server/	禁止所有搜索引擎访问/bbs/uc_server目录
Disallow: /bbs/static/	禁止所有搜索引擎访问/bbs/static目录
Disallow: /bbs/admin.php	禁止所有搜索引擎访问/bbs目录下的admin.php文件
Disallow: /bbs/search.php	禁止所有搜索引擎访问/bbs目录下的search.php文件
Disallow: /bbs/member.php	禁止所有搜索引擎访问/bbs目录下的member.php文件
Disallow: /bbs/api.php	禁止所有搜索引擎访问/bbs目录下的api.php文件
Disallow: /bbs/misc.php	禁止所有搜索引擎访问/bbs目录下的misc.php文件
Disallow: /bbs/connect.php	禁止所有搜索引擎访问/bbs目录下的connect.php文件
Disallow: /bbs/forum.php/	禁止所有搜索引擎访问/bbs/forum.php目录

活动推荐

Robots检测