检测 robots.txt / llms.txt,看你的网站对 AI 搜索是否可见
AI 搜索正在成为新的流量入口:ChatGPT、Perplexity、Claude 等回答问题时,只会引用它们的爬虫能抓到的网站。本工具输入网址即可检测 robots.txt 对 8 个主流 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot 等)的放行情况,并检查 llms.txt 配置,给出逐项判定与修复建议——这是做 GEO(生成式引擎优化)之前必查的第一步。想了解如何在 WordPress 里精准控制 AI 爬虫,可读《WordPress 屏蔽/放行 AI 爬虫完全指南》。
| 爬虫 | 用途 | 状态 | 命中规则 / 说明 |
|---|