本页说明 GPTGEO 体检工具的评分方法:总分 100 分,由 robots.txt 爬虫可达性、llms.txt、sitemap.xml、首页结构化、问答结构友好度、响应头可索引六项检查的实得分相加,并给出各项权重。每项检查都有明确的通过、警告、失败判定标准,并说明其对 AI 引擎可见度的意义。
总分 100 分,由下列六项检查的实得分相加。等级:A ≥ 85,B ≥ 70,C ≥ 55,D ≥ 40,E < 40。所有检查均为静态启发式判断,受浏览器跨域(CORS)限制影响。
1. robots.txt · AI 爬虫可达性(25 分)
robots.txt · AI 爬虫可达性
25 分
- 通过文件可读,且 12 个常见 AI 爬虫无一被明确封禁(未提及按默认放行);得分 = 25 × (12 − 封禁数) / 12。
- 警告被封禁爬虫少于半数,或
User-agent: * 通配组封禁了根路径但未单独声明 AI 爬虫。
- 失败半数及以上 AI 爬虫被明确封禁,或 robots.txt 不可读 / 未找到(未找到记 12 分)。
为什么重要:robots.txt 是 AI 爬虫读取的第一道门,显式放行可避免公开内容被误判为禁止抓取。
2. llms.txt(10 分)
llms.txt
10 分
- 通过在
/llms.txt 或 /.well-known/llms.txt 找到非 HTML 的非空文本文件,记 10 分。
- 警告文件存在但内容无效(如返回 HTML);无额外分数。
- 失败两个位置均未找到,或因跨域 / 网络原因无法读取,记 0 分。
为什么重要:它给大模型一份站点地图与核心说明,降低模型理解站点主题的门槛。
3. sitemap.xml(10 分)
sitemap.xml
10 分
- 通过文件可解析为合法 XML 且含至少一个
<loc> 条目,记 10 分。
- 警告文件存在但 XML 非法,或没有任何
<loc>,记 3 分;文件缺失或不可读时默认警告、0 分。
- 失败本项不设独立的「失败」判定;不可读时按警告处理并提示检查 CORS。
为什么重要:站点地图列出了希望被收录的页面,帮助爬虫发现深层内容。
4. 首页结构化(30 分)
首页结构化
30 分
- 通过合计 ≥ 26 分:title 10–65 字(6 分)、meta description 50–160 字(6 分)、恰好 1 个 H1(6 分)、JSON-LD 含可解析 @type(8 分)、Open Graph 标签 ≥ 2 个(4 分)。
- 警告合计 15–25 分:上述子项部分缺失或长度不达标(分别记半分或 2/3 分)。
- 失败合计 < 15 分,或首页不可访问。
为什么重要:清晰的标题、描述、标题层级和结构化数据,是模型抽取「这个站点是什么」的主要依据。
5. 问答结构友好度(15 分)
问答结构友好度
15 分
- 通过含问号或「什么 / 怎么 / 如何 / 为什么 / 哪个」的 H2/H3 标题 ≥ 3 个(≥ 5 个记 15 分,3–4 个记 11 分)。
- 警告只有 1–2 个问答式标题(记 6 分),或可见正文少于 300 字符(可能依赖 JS 渲染)。
- 失败没有问答式 H2/H3 标题,记 0 分。
为什么重要:「问题 + 直接回答」的小节最贴近用户在 AI 助手里的提问方式,更容易被摘录引用。
6. 响应头可索引(10 分)
响应头可索引
10 分
- 通过响应头 X-Robots-Tag 与页面 meta robots 均未包含 noindex,记 10 分(读不到响应头时会提示不确定性)。
- 警告本项不设警告分;仅当跨域导致响应头不可见时给出提示,仍按通过计分。
- 失败X-Robots-Tag 或 meta robots 含 noindex,记 0 分。
为什么重要:noindex 是明确的「不要收录」信号,会让搜索与 AI 引擎都失去引用依据。
常见问题
评分权重如何设定?
总分 100 分,由六项检查的实得分相加:robots.txt · AI 爬虫可达性 25 分,llms.txt 10 分,sitemap.xml 10 分,首页结构化 30 分,问答结构友好度 15 分,响应头可索引 10 分。等级为 A ≥ 85,B ≥ 70,C ≥ 55,D ≥ 40,E < 40。
“警告”与“失败”如何判定?
每项检查按各自标准判定。以 robots.txt 为例:被封禁的 AI 爬虫少于半数,或 User-agent: * 通配组封禁了根路径但未单独声明 AI 爬虫,判为警告;半数及以上 AI 爬虫被明确封禁,或 robots.txt 不可读 / 未找到,判为失败。以首页结构化为例:合计 15–25 分为警告,合计 < 15 分或首页不可访问为失败。部分检查不设警告或失败档,例如 sitemap.xml 不设独立的失败判定,响应头可索引不设警告分。
为什么 llms.txt 重要?
它给大模型一份站点地图与核心说明,降低模型理解站点主题的门槛。在 /llms.txt 或 /.well-known/llms.txt 找到非 HTML 的非空文本文件记 10 分;文件存在但内容无效(如返回 HTML)为警告,两个位置均未找到则为失败,记 0 分。