Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /aspxerrorpath	禁止所有搜索引擎访问所有包含aspxerrorpath的文件
Disallow: /404.html	禁止所有搜索引擎访问根目录下的404.html文件
Disallow: /Ashx/	禁止所有搜索引擎访问/Ashx目录
Disallow: /js/	禁止所有搜索引擎访问/js目录
Disallow: /bku/	禁止所有搜索引擎访问/bku目录
Disallow: /ttp/	禁止所有搜索引擎访问/ttp目录
Disallow: /ppc/	禁止所有搜索引擎访问/ppc目录
Disallow: /qigou/	禁止所有搜索引擎访问/qigou目录
Disallow: /cwc/	禁止所有搜索引擎访问/cwc目录
Disallow: /rss/*	禁止所有搜索引擎访问/rss下的所有文件
Disallow: /newsitemap.html	禁止所有搜索引擎访问根目录下的newsitemap.html文件
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /500.aspx	禁止所有搜索引擎访问根目录下的500.aspx文件
Disallow: /news/kaixin/	禁止所有搜索引擎访问/news/kaixin目录
Disallow: /m/	禁止所有搜索引擎访问/m目录
Disallow: /aluProduct/	禁止所有搜索引擎访问/aluProduct目录
Disallow: /0000/	禁止所有搜索引擎访问/0000目录
Disallow: /aluTrade/tags_?	禁止所有搜索引擎访问tags_*带任何参数的页面
Disallow: /default*	禁止所有搜索引擎访问根目录下以default开头的目录（包括子目录）
Disallow: /*/robots.txt	禁止所有搜索引擎访问/目录下的robots.txt*文件
Disallow: /aluMarket/	禁止所有搜索引擎访问/aluMarket目录
Disallow: /aluNews/	禁止所有搜索引擎访问/aluNews目录
Disallow: /cloud/	禁止所有搜索引擎访问/cloud目录
User-Agent: Yahoo!+Slurp+China	开始配置：Yahoo!+Slurp+China
Disallow: /	禁止Yahoo!+Slurp+China访问网站的任何部分
User-Agent: Yahoo!+Slurp	开始配置：Yahoo!+Slurp
Disallow: /	禁止Yahoo!+Slurp访问网站的任何部分
User-Agent: Exabot	开始配置：Exabot
Disallow: /	禁止Exabot访问网站的任何部分

活动推荐

Robots检测