| user-agent: Adsbot-Google |
开始配置：Adsbot-Google |
|
| user-agent: Alexabot |
开始配置：Alexabot |
|
| user-agent: BingPreview |
开始配置：BingPreview |
|
| user-agent: CloudflarePrefetch |
开始配置：CloudflarePrefetch |
|
| user-agent: FriendFeedBot |
开始配置：FriendFeedBot |
|
| user-agent: FunnelBack |
开始配置：FunnelBack |
|
| user-agent: Google |
开始配置：Google |
|
| user-agent: Google Favicon |
开始配置：Google Favicon |
|
| user-agent: Google-Site-Verification |
开始配置：Google-Site-Verification |
|
| user-agent: Google-Sitemaps |
开始配置：Google-Sitemaps |
|
| user-agent: Googlebot |
开始配置：Googlebot |
|
| user-agent: Googlebot-Image |
开始配置：Googlebot-Image |
|
| user-agent: Googlebot-Mobile |
开始配置：Googlebot-Mobile |
|
| user-agent: Googlebot-News |
开始配置：Googlebot-News |
|
| user-agent: Googlebot-Video |
开始配置：Googlebot-Video |
|
| user-agent: Mediapartners-Google |
开始配置：Mediapartners-Google |
|
| user-agent: Pingdom |
开始配置：Pingdom |
|
| user-agent: Pinterest |
开始配置：Pinterest |
|
| user-agent: ScoutJet |
开始配置：ScoutJet |
|
| user-agent: Slurp |
开始配置：Slurp |
|
| user-agent: Spinn3r |
开始配置：Spinn3r |
|
| user-agent: Teoma |
开始配置：Teoma |
|
| user-agent: Twitterbot |
开始配置：Twitterbot |
|
| user-agent: Yandex |
开始配置：Yandex |
|
| user-agent: YandexImages |
开始配置：YandexImages |
|
| user-agent: YandexVideoParser |
开始配置：YandexVideoParser |
|
| user-agent: Yeti |
开始配置：Yeti |
|
| user-agent: archive.org_bot |
开始配置：archive.org_bot |
|
| user-agent: baiduspider |
开始配置：baiduspider |
|
| user-agent: bingbot |
开始配置：bingbot |
|
| user-agent: facebookexternalhit |
开始配置：facebookexternalhit |
|
| user-agent: gsa-crawler |
开始配置：gsa-crawler |
|
| user-agent: houzzbot |
开始配置：houzzbot |
|
| user-agent: ia_archiver |
开始配置：ia_archiver |
|
| user-agent: msnbot |
开始配置：msnbot |
|
| user-agent: rogerbot |
开始配置：rogerbot |
|
| disallow: /404 |
禁止rogerbot访问/404目录（包括子目录） |
|
| disallow: /access-denied |
禁止rogerbot访问/access-denied目录（包括子目录） |
|
| disallow: /admin |
禁止rogerbot访问/admin目录（包括子目录） |
|
| disallow: /api |
禁止rogerbot访问/api目录（包括子目录） |
|
| disallow: /cart |
禁止rogerbot访问/cart目录（包括子目录） |
|
| disallow: /checkout |
禁止rogerbot访问/checkout目录（包括子目录） |
|
| disallow: /client |
禁止rogerbot访问/client目录（包括子目录） |
|
| disallow: /date |
禁止rogerbot访问/date目录（包括子目录） |
|
| disallow: /downloads |
禁止rogerbot访问/downloads目录（包括子目录） |
|
| disallow: /go |
禁止rogerbot访问/go目录（包括子目录） |
|
| disallow: /hack |
禁止rogerbot访问/hack目录（包括子目录） |
|
| disallow: /keyword |
禁止rogerbot访问/keyword目录（包括子目录） |
|
| disallow: /order |
禁止rogerbot访问/order目录（包括子目录） |
|
| disallow: /password |
禁止rogerbot访问/password目录（包括子目录） |
|
| disallow: /popular |
禁止rogerbot访问/popular目录（包括子目录） |
|
| disallow: /search |
禁止rogerbot访问/search目录（包括子目录） |
|
| disallow: /services/api/php |
禁止rogerbot访问/services/api/php目录（包括子目录） |
|
| disallow: /services/api/rest |
禁止rogerbot访问/services/api/rest目录（包括子目录） |
|
| disallow: /services/api/xmlrpc |
禁止rogerbot访问/services/api/xmlrpc目录（包括子目录） |
|
| disallow: /test |
禁止rogerbot访问/test目录（包括子目录） |
|
| allow: /api/developer |
允许rogerbot访问/api/developer目录（包括子目录） |
|
| allow: /api/doc |
允许rogerbot访问/api/doc目录（包括子目录） |
|
| allow: /api/v2 |
允许rogerbot访问/api/v2目录（包括子目录） |
|
| user-agent: Google |
开始配置：Google |
|
| user-agent: Twitterbot |
开始配置：Twitterbot |
|
| user-agent: facebookexternalhit |
开始配置：facebookexternalhit |
|
| user-agent: houzzbot |
开始配置：houzzbot |
|
| allow: /date |
允许houzzbot访问/date目录（包括子目录） |
|
| allow: /keyword |
允许houzzbot访问/keyword目录（包括子目录） |
|
| allow: /popular |
允许houzzbot访问/popular目录（包括子目录） |
|
| user-agent: * |
开始配置：所有搜索引擎 |
|
| disallow: / |
禁止所有搜索引擎访问网站的任何部分 |
|
| sitemap: https://www.freelyphotos.com/sitemap-index.xml |
Sitemap地址： https://www.freelyphotos.com/sitemap-index.xml |
|
