# robots.txt 生成与测试、sitemap.xml 生成与校验 - AI 爬虫屏蔽

> 免费在线生成 robots.txt（一键屏蔽 GPTBot、ClaudeBot 等 AI 爬虫）并按 Google 规则测试 URL；从网址列表生成 sitemap.xml，支持 hreflang、图片视频、自动拆分与校验。

- 网址: https://qilingtools.com/zh/robots-sitemap
- 分类: 开发工具 (https://qilingtools.com/zh/dev)
- 标签: [开发](https://qilingtools.com/zh/tags/dev), [前端网页](https://qilingtools.com/zh/tags/frontend), [网络 HTTP](https://qilingtools.com/zh/tags/network)
- 最后更新: 2026-10-26
- 价格: 免费，无需注册
- 隐私: 在浏览器本地处理，文件不上传服务器

robots.txt 和 sitemap.xml 是每个网站做 SEO 的基础文件：前者告诉爬虫哪些路径可以抓取，后者告诉搜索引擎有哪些页面。这个工具把四件事放在一起。robots.txt 生成：按 User-agent 分组编写 Allow / Disallow 规则和 Crawl-delay，填写 Sitemap 地址；还列出了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Google-Extended、Applebot-Extended、PerplexityBot、CCBot、Bytespider、meta-externalagent 等 16 个 AI 爬虫，可以逐个选择放行或屏蔽，或一键屏蔽所有训练用爬虫。robots.txt 测试：粘贴任意 robots.txt 和一批 URL，选择爬虫，按 RFC 9309 与 Google 的实现判断每个 URL 是否允许抓取，并指出决定结果的那一行规则——支持 * 通配和 $ 结尾、最长匹配优先、长度相同时 Allow 优先、同名组合并和 Googlebot-Image 回退到 Googlebot。sitemap 生成：每行一个 URL，可附加 lastmod、changefreq、priority、图片和视频信息，自动为 /zh/、/en/ 这类多语言路径添加双向 hreflang 与 x-default；超过 5 万条自动拆分并生成 sitemap 索引，可下载 gzip 压缩包。sitemap 校验：检查命名空间、URL 格式、日期格式、取值范围、重复地址、条数与体积上限以及 hreflang 是否互相链接。

## 使用步骤

1. 在 robots.txt 生成页设置规则组、AI 爬虫开关和 Sitemap 地址，复制或下载
2. 在测试页粘贴 robots.txt 与 URL 列表，选择爬虫查看允许或禁止及命中的规则
3. 在 sitemap 页粘贴网址列表生成 sitemap.xml，或在校验页粘贴现有文件检查问题

## 功能特点

- 可视化编辑 User-agent 组、Allow / Disallow 与 Crawl-delay
- 16 个 AI 爬虫逐个放行或屏蔽，一键屏蔽训练爬虫
- 按 Google 最长匹配规则测试 URL，显示命中的行
- 支持 * 通配、$ 结尾、同名组合并与爬虫回退
- sitemap 支持 lastmod、changefreq、priority、图片和视频
- 多语言路径自动生成双向 hreflang 与 x-default
- 超过 5 万条自动拆分并生成 sitemap 索引，可 gzip 打包
- sitemap 校验：格式、取值、重复、上限与 hreflang 互链

## 常见问题

### robots.txt 能阻止页面被收录吗？

不能完全阻止。robots.txt 只控制抓取，不控制索引：被 Disallow 的页面如果有外部链接指向，仍可能以“无摘要”的形式出现在搜索结果里。想让页面不被收录，应该允许抓取并在页面里加 <meta name="robots" content="noindex">，或返回 X-Robots-Tag 响应头。另外 robots.txt 是公开的君子协议，不要用它来隐藏敏感路径。

### 屏蔽 Google-Extended 会影响 Google 搜索排名吗？

不会。Google-Extended 只是一个控制标识，用于决定网站内容能否用于训练 Gemini 等生成式模型，Googlebot 的正常抓取和排名不受影响。同理，屏蔽 GPTBot、ClaudeBot、CCBot 等训练爬虫不影响传统搜索引擎；但如果屏蔽了 OAI-SearchBot、PerplexityBot 这类 AI 搜索爬虫，你的网站可能不会出现在对应的 AI 搜索结果中。

### Allow 和 Disallow 冲突时听谁的？

按 Google 和 RFC 9309 的规则，在所有匹配当前 URL 的规则中，路径最长（最具体）的那条生效；长度相同时，Allow 优先。规则在文件中的先后顺序不影响结果。例如 Allow: /page 与 Disallow: /*.htm 同时匹配 /page.htm 时，后者更长，所以禁止抓取。测试器会显示是哪一行决定了结果。

### sitemap 里的 changefreq 和 priority 还有用吗？

Google 已明确表示会忽略 changefreq 和 priority，只参考准确的 lastmod；Bing 等其他搜索引擎可能仍会参考。所以这两个字段可以不填，但 lastmod 应只在页面内容真正更新时修改。单个 sitemap 最多 5 万个 URL、未压缩不超过 50MB，超过时需要拆分并用 sitemap 索引文件汇总，工具会自动完成拆分。

## 相关工具

- [JSON 格式化](https://qilingtools.com/zh/json): 免费在线 JSON 格式化：一键美化、压缩，实时语法校验并定位到出错行列，支持树形视图折叠、键名排序、转义与去转义、Unicode 转中文、复制下载，数据不上传。
- [Base64 编解码](https://qilingtools.com/zh/base64): 免费在线 Base64 编码解码工具：支持中文 UTF-8、URL 安全变体，文本与 Base64 互转，实时转换，本地处理不上传。
- [URL 编解码](https://qilingtools.com/zh/url-encode): 免费在线 URL 编码解码工具：encodeURIComponent 与 encodeURI 两种模式，处理中文、空格与特殊符号，本地实时转换不上传。
- [JWT 解析](https://qilingtools.com/zh/jwt): 免费在线 JWT 解析工具：解码 JWT 的 Header 与 Payload，展示过期时间、签发时间等，本地解析不上传，保护令牌安全。
- [时间戳转换](https://qilingtools.com/zh/timestamp): 免费在线 Unix 时间戳转换工具：时间戳与日期互转，自动识别秒/毫秒，显示本地时间、UTC、ISO 8601 和相对时间，实时更新。
- [哈希计算](https://qilingtools.com/zh/hash): 免费在线哈希/摘要计算工具：对文本或文件计算 SHA-1、SHA-256、SHA-384、SHA-512，使用浏览器加密接口本地完成，文件不上传。
- [UUID 生成](https://qilingtools.com/zh/uuid): 免费在线 UUID 生成器：使用加密安全随机数批量生成符合 RFC 4122 的 UUID v4，可大写、去连字符、加花括号，一键复制。
- [进制转换](https://qilingtools.com/zh/base-convert): 免费在线进制转换工具：二进制、八进制、十进制、十六进制及任意 2–36 进制互转，支持大整数（BigInt），本地实时计算。