GPTGEO

评分方法论

本页说明 GPTGEO 体检工具的评分方法:总分 100 分,由 robots.txt 爬虫可达性、llms.txt、sitemap.xml、首页结构化、问答结构友好度、响应头可索引六项检查的实得分相加,并给出各项权重。每项检查都有明确的通过、警告、失败判定标准,并说明其对 AI 引擎可见度的意义。

总分 100 分,由下列六项检查的实得分相加。等级:A ≥ 85,B ≥ 70,C ≥ 55,D ≥ 40,E < 40。所有检查均为静态启发式判断,受浏览器跨域(CORS)限制影响。

1. robots.txt · AI 爬虫可达性(25 分)

robots.txt · AI 爬虫可达性

25 分

为什么重要:robots.txt 是 AI 爬虫读取的第一道门,显式放行可避免公开内容被误判为禁止抓取。

2. llms.txt(10 分)

llms.txt

10 分

为什么重要:它给大模型一份站点地图与核心说明,降低模型理解站点主题的门槛。

3. sitemap.xml(10 分)

sitemap.xml

10 分

为什么重要:站点地图列出了希望被收录的页面,帮助爬虫发现深层内容。

4. 首页结构化(30 分)

首页结构化

30 分

为什么重要:清晰的标题、描述、标题层级和结构化数据,是模型抽取「这个站点是什么」的主要依据。

5. 问答结构友好度(15 分)

问答结构友好度

15 分

为什么重要:「问题 + 直接回答」的小节最贴近用户在 AI 助手里的提问方式,更容易被摘录引用。

6. 响应头可索引(10 分)

响应头可索引

10 分

为什么重要:noindex 是明确的「不要收录」信号,会让搜索与 AI 引擎都失去引用依据。

常见问题

评分权重如何设定?

总分 100 分,由六项检查的实得分相加:robots.txt · AI 爬虫可达性 25 分,llms.txt 10 分,sitemap.xml 10 分,首页结构化 30 分,问答结构友好度 15 分,响应头可索引 10 分。等级为 A ≥ 85,B ≥ 70,C ≥ 55,D ≥ 40,E < 40。

“警告”与“失败”如何判定?

每项检查按各自标准判定。以 robots.txt 为例:被封禁的 AI 爬虫少于半数,或 User-agent: * 通配组封禁了根路径但未单独声明 AI 爬虫,判为警告;半数及以上 AI 爬虫被明确封禁,或 robots.txt 不可读 / 未找到,判为失败。以首页结构化为例:合计 15–25 分为警告,合计 < 15 分或首页不可访问为失败。部分检查不设警告或失败档,例如 sitemap.xml 不设独立的失败判定,响应头可索引不设警告分。

为什么 llms.txt 重要?

它给大模型一份站点地图与核心说明,降低模型理解站点主题的门槛。在 /llms.txt 或 /.well-known/llms.txt 找到非 HTML 的非空文本文件记 10 分;文件存在但内容无效(如返回 HTML)为警告,两个位置均未找到则为失败,记 0 分。