配置 Allow/Disallow、Crawl-delay 与 Sitemap 地址,一键下载。
工作台
浏览器本地计算
Sitemap 地址(可选)
User-agent
Crawl-delay 秒(可选)
禁止抓取的路径每行一条,如 /admin/ 或 /private/
允许抓取的路径(可选)覆盖 Disallow,每行一条
生成结果