| User-agent: Googlebot |
开始配置：Googlebot |
|
| User-agent: Bingbot |
开始配置：Bingbot |
|
| User-agent: DuckDuckBot |
开始配置：DuckDuckBot |
|
| User-agent: 360Spider |
开始配置：360Spider |
|
| User-agent: Sogouspider |
开始配置：Sogouspider |
|
| User-agent: Yisouspider |
开始配置：Yisouspider |
|
| User-agent: YisouSpider |
开始配置：YisouSpider |
|
| User-agent: Sogou web spider |
开始配置：Sogou web spider |
|
| User-agent: Sogou wap spider |
开始配置：Sogou wap spider |
|
| User-agent: Sogou inst spider |
开始配置：Sogou inst spider |
|
| User-agent: Sogou blog |
开始配置：Sogou blog |
|
| User-agent: Sogou News Spider |
开始配置：Sogou News Spider |
|
| User-agent: Sogou Orion Spider |
开始配置：Sogou Orion Spider |
|
| User-agent: Sosospider |
开始配置：Sosospider |
|
| User-agent: Sogou spider2 |
开始配置：Sogou spider2 |
|
| User-agent: HaosouSpider |
开始配置：HaosouSpider |
|
| User-agent: HaosoSpider |
开始配置：HaosoSpider |
|
| User-agent: AhrefsBot |
开始配置：AhrefsBot |
|
| User-agent: AhrefsSiteAudit |
开始配置：AhrefsSiteAudit |
|
| User-agent: Baiduspider |
开始配置：Baiduspider |
|
| User-agent: ToutiaoSpider |
开始配置：ToutiaoSpider |
|
| User-agent: Toutiaospider |
开始配置：Toutiaospider |
|
| User-agent: Bytespider |
开始配置：Bytespider |
|
| User-agent: ByteSpider |
开始配置：ByteSpider |
|
| Disallow: /bookshelf |
禁止ByteSpider访问/bookshelf目录（包括子目录） |
|
| Disallow: /book/SBCK*/chapter* |
禁止ByteSpider访问/book/SBCK*目录下以chapter开头的目录（包括子目录） |
|
| Disallow: /book/YLDD*/chapter* |
禁止ByteSpider访问/book/YLDD*目录下以chapter开头的目录（包括子目录） |
|
| Disallow: /eden-web-socket-server |
禁止ByteSpider访问/eden-web-socket-server目录（包括子目录） |
|
| Disallow: /api/ancientlib/read/count/volume-version |
禁止ByteSpider访问/api/ancientlib/read/count/volume-version目录（包括子目录） |
|
| Disallow: /passport |
禁止ByteSpider访问/passport目录（包括子目录） |
|
| Disallow: /ttwid |
禁止ByteSpider访问/ttwid目录（包括子目录） |
|
| Disallow: *.php |
禁止ByteSpider访问所有以.php为后缀的文件 |
|
| User-agent: * |
开始配置：所有搜索引擎 |
|
| Disallow: / |
禁止所有搜索引擎访问网站的任何部分 |
|
| Sitemap: https://www.shidianguji.com/sitemap/static/index.xml |
Sitemap地址： https://www.shidianguji.com/sitemap/static/index.xml |
|
| Sitemap: https://www.shidianguji.com/sitemap/book/index.xml |
Sitemap地址： https://www.shidianguji.com/sitemap/book/index.xml |
|
| Sitemap: https://www.shidianguji.com/sitemap/insite/index.xml |
Sitemap地址： https://www.shidianguji.com/sitemap/insite/index.xml |
|
| Sitemap: https://www.shidianguji.com/sitemap/outsite/index.xml |
Sitemap地址： https://www.shidianguji.com/sitemap/outsite/index.xml |
|
| Sitemap: https://www.shidianguji.com/sitemap/midpage/index.xml |
Sitemap地址： https://www.shidianguji.com/sitemap/midpage/index.xml |
|
| Sitemap: https://www.shidianguji.com/newsitemap/chapter/index.xml |
Sitemap地址： https://www.shidianguji.com/newsitemap/chapter/index.xml |
|
