Robots检测工具

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /admin	禁止所有搜索引擎访问/admin目录（包括子目录）
Disallow: /private	禁止所有搜索引擎访问/private目录（包括子目录）
Disallow: /api	禁止所有搜索引擎访问/api目录（包括子目录）
Disallow: /*.json$	禁止所有搜索引擎访问所有以*.json结尾的文件
Disallow: /_next/	禁止所有搜索引擎访问*/_next**下的所有文件
Host: https://yidanshu.com	允许所有搜索引擎访问https目录（包括子目录）
Sitemap: https://yidanshu.com/sitemap.xml	Sitemap地址： https://yidanshu.com/sitemap.xml

Robots检测