robots.txt 能阻止页面被收录吗？

不能完全阻止。robots.txt 只控制抓取，不控制索引：被 Disallow 的页面如果有外部链接指向，仍可能以“无摘要”的形式出现在搜索结果里。想让页面不被收录，应该允许抓取并在页面里加，或返回 X-Robots-Tag 响应头。另外 robots.txt 是公开的君子协议，不要用它来隐藏敏感路径。

屏蔽 Google-Extended 会影响 Google 搜索排名吗？

不会。Google-Extended 只是一个控制标识，用于决定网站内容能否用于训练 Gemini 等生成式模型，Googlebot 的正常抓取和排名不受影响。同理，屏蔽 GPTBot、ClaudeBot、CCBot 等训练爬虫不影响传统搜索引擎；但如果屏蔽了 OAI-SearchBot、PerplexityBot 这类 AI 搜索爬虫，你的网站可能不会出现在对应的 AI 搜索结果中。

Allow 和 Disallow 冲突时听谁的？

按 Google 和 RFC 9309 的规则，在所有匹配当前 URL 的规则中，路径最长（最具体）的那条生效；长度相同时，Allow 优先。规则在文件中的先后顺序不影响结果。例如 Allow: /page 与 Disallow: /*.htm 同时匹配 /page.htm 时，后者更长，所以禁止抓取。测试器会显示是哪一行决定了结果。

sitemap 里的 changefreq 和 priority 还有用吗？

Google 已明确表示会忽略 changefreq 和 priority，只参考准确的 lastmod；Bing 等其他搜索引擎可能仍会参考。所以这两个字段可以不填，但 lastmod 应只在页面内容真正更新时修改。单个 sitemap 最多 5 万个 URL、未压缩不超过 50MB，超过时需要拆分并用 sitemap 索引文件汇总，工具会自动完成拆分。

🤖

🤖robots.txt 生成与测试、sitemap.xml 生成与校验 - AI 爬虫屏蔽

robots.txt 和 sitemap.xml 是每个网站做 SEO 的基础文件：前者告诉爬虫哪些路径可以抓取，后者告诉搜索引擎有哪些页面。这个工具把四件事放在一起。robots.txt 生成：按 User-agent 分组编写 Allow / Disallow 规则和 Crawl-delay，填写 Sitemap 地址；还列出了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Google-Extended、Applebot-Extended、PerplexityBot、CCBot、Bytespider、meta-externalagent 等 16 个 AI 爬虫，可以逐个选择放行或屏蔽，或一键屏蔽所有训练用爬虫。robots.txt 测试：粘贴任意 robots.txt 和一批 URL，选择爬虫，按 RFC 9309 与 Google 的实现判断每个 URL 是否允许抓取，并指出决定结果的那一行规则——支持 * 通配和 $ 结尾、最长匹配优先、长度相同时 Allow 优先、同名组合并和 Googlebot-Image 回退到 Googlebot。sitemap 生成：每行一个 URL，可附加 lastmod、changefreq、priority、图片和视频信息，自动为 /zh/、/en/ 这类多语言路径添加双向 hreflang 与 x-default；超过 5 万条自动拆分并生成 sitemap 索引，可下载 gzip 压缩包。sitemap 校验：检查命名空间、URL 格式、日期格式、取值范围、重复地址、条数与体积上限以及 hreflang 是否互相链接。

免费 · 无需注册 · 浏览器本地处理最后更新：2026-10-26

正在加载工具...

如何使用robots.txt 与 sitemap 生成器

1在 robots.txt 生成页设置规则组、AI 爬虫开关和 Sitemap 地址，复制或下载
2在测试页粘贴 robots.txt 与 URL 列表，选择爬虫查看允许或禁止及命中的规则
3在 sitemap 页粘贴网址列表生成 sitemap.xml，或在校验页粘贴现有文件检查问题

常见问题

robots.txt 能阻止页面被收录吗？: 不能完全阻止。robots.txt 只控制抓取，不控制索引：被 Disallow 的页面如果有外部链接指向，仍可能以“无摘要”的形式出现在搜索结果里。想让页面不被收录，应该允许抓取并在页面里加 <meta name="robots" content="noindex">，或返回 X-Robots-Tag 响应头。另外 robots.txt 是公开的君子协议，不要用它来隐藏敏感路径。
屏蔽 Google-Extended 会影响 Google 搜索排名吗？: 不会。Google-Extended 只是一个控制标识，用于决定网站内容能否用于训练 Gemini 等生成式模型，Googlebot 的正常抓取和排名不受影响。同理，屏蔽 GPTBot、ClaudeBot、CCBot 等训练爬虫不影响传统搜索引擎；但如果屏蔽了 OAI-SearchBot、PerplexityBot 这类 AI 搜索爬虫，你的网站可能不会出现在对应的 AI 搜索结果中。
Allow 和 Disallow 冲突时听谁的？: 按 Google 和 RFC 9309 的规则，在所有匹配当前 URL 的规则中，路径最长（最具体）的那条生效；长度相同时，Allow 优先。规则在文件中的先后顺序不影响结果。例如 Allow: /page 与 Disallow: /*.htm 同时匹配 /page.htm 时，后者更长，所以禁止抓取。测试器会显示是哪一行决定了结果。
sitemap 里的 changefreq 和 priority 还有用吗？: Google 已明确表示会忽略 changefreq 和 priority，只参考准确的 lastmod；Bing 等其他搜索引擎可能仍会参考。所以这两个字段可以不填，但 lastmod 应只在页面内容真正更新时修改。单个 sitemap 最多 5 万个 URL、未压缩不超过 50MB，超过时需要拆分并用 sitemap 索引文件汇总，工具会自动完成拆分。