网址工具 本地处理 · 不上传 52 次使用

Robots 生成器

可视化生成 robots.txt

同分类工具
配置 Allow/Disallow、Crawl-delay 与 Sitemap 地址,一键下载。
工作台 浏览器本地计算
Sitemap 地址(可选)
User-agent
Crawl-delay 秒(可选)
禁止抓取的路径每行一条,如 /admin/ 或 /private/
允许抓取的路径(可选)覆盖 Disallow,每行一条
生成结果