我们的首要决策是判断网站是存在访问失败还是信息缺口。在为同一页面添加另一种表示方式之前,先解决根本性问题。
分别检查抓取策略、实际服务器访问和页面发现。robots.txt 规则向遵守规则的爬虫传达抓取指令;CDN 和服务器控制决定请求是否成功。站点地图有助于暴露 URL,但未包含在其中并不意味着页面无法被发现。内部链接和可访问的公共页面仍然重要。添加 llms.txt 并不能修复被阻止的响应、损坏的链接或不准确的页面。
Google 表示,现有的 SEO 最佳实践——抓取访问、实用文本和内部发现——对 AI Overviews 和 AI Mode 依然适用。这些 Google 搜索功能不需要新的机器可读 AI 文件或特殊标记;这不是对所有 AI 系统的规定。结构化数据用于标记页面事实,而 llms.txt 是单独的指南。即使满足要求,Google 也不保证抓取、收录或展示。
OpenAI 的文档进一步澄清,不同的机器人有不同的用途:OAI-SearchBot 用于 ChatGPT 搜索,GPTBot 可能用于基础模型训练,ChatGPT-User 用于用户触发的访问。文档中列出的搜索访问检查包括 robots.txt 和通过主机或 CDN 控制允许的已公布 IP 范围。即使允许访问,成功抓取也不保证被引用或纳入 AI 答案。
对于 Google AI Overviews 和 AI Mode,支持页面必须被收录且有资格生成摘要。Google 还表示,满足要求并不保证抓取、收录或展示。对于 ChatGPT 搜索,OpenAI 的访问检查包括 OAI-SearchBot 的 robots.txt 规则,以及来自其已公布 IP 范围、通过主机或 CDN 控制的请求。ChatGPT-User 涉及用户触发的访问,可能不遵循 robots.txt。这些机器人用途有单独文档说明;允许训练机器人与允许搜索访问不是同一设置。
除了技术访问外,信息质量同样关键。为读者和自动化读取系统提供清晰、准确、能回答实际问题的信息。如果你的网站缺乏权威事实页面,或信息过时、零散,没有任何技术文件能弥补这些缺口。应优先投资于内容质量和清晰度,再考虑在 llms.txt 中记录事实。
SHMLANG 的 GEO 方法强调结构化流程:建立平台和问题基线,将问题映射到现有页面,将事实准确性与询盘归因分离,并明确样本方法和报告。应用于此,流程会将事实审批和公共页面检查置于创建另一种信息表示之前。这可以暴露负责人需要修复的缺口,但无法控制外部系统获取或复述的内容。SHMLANG 声明无法控制 AI 答案的生成方式,强调 llms.txt 等技术文件只是更广泛可见性策略的一部分。
如果你的网站已经具备强健的抓取访问、准确且可发现的事实页面,以及清晰的用户问题与内容的内部映射,那么实施 llms.txt 文件作为维护的智能体指南可能带来增量价值。但如果存在技术或信息缺口,应优先解决这些问题。直接跳到 llms.txt 可能导致记录不可访问或不准确的信息,这不仅收效甚微,还可能在下游系统中传播错误。
默认应先纠正访问失败、有争议的事实和缺失的负责人。在这些输入可靠后,仅针对明确定义的文档用途,考虑小规模试点,并指定负责人、维护成本和验收检查。其他智能体读取和使用或引用的主张需要单独证据。
2026 年 8 月的 llms.txt v2 提案描述了一种用于有用公共信息的 Markdown 指南。它仍是可选提案,而非通用搜索要求或排名、引用的既定捷径。
该格式要求有一个 H1 站点或项目名称。可选元素按顺序为:块引用形式的摘要、说明性文本,然后是包含链接列表的 H2 部分。每个列表项需有一个链接,描述性说明为可选。当多个文件覆盖同一页面时,提案优先采用最具体的路径。
这只是对提案格式的描述。它并未规定某个搜索引擎会读取该文件或用其选择引用。将格式检查视为发布检查,实际读取和使用情况需单独调查。
从智能体需要回答的问题出发。服务概览可能标识某项服务,而规范页面则提供买家必须核查的操作限制。仅链接到精美概览可能导致关键细节无法获取。链接到所有页面又会带来另一个问题:智能体需在重叠或矛盾的陈述间做选择。
我们的建议是为每个重要事实指定一个有责任的来源,然后判断是否需要补充背景。URL 可以保持稳定,但其内容可能变得错误。相反,频繁更新的规范页面如果有负责人负责变更并维护清晰的公开版本,也可能是正确来源。稳定性有用,但准确性和责任归属决定是否纳入。
当 HTML 和 Markdown 版本共存时,先比较其事实内容再包含 Markdown 链接。更简洁的表示只有在保留同样批准含义时才有用。如果没有可靠的公开版本,应记录这一缺口,而不是凭空指定目标或默默链接到内部文档。
SHMLANG 已发布的 SEO 方法将买家问题与商业页面关联,并分配实施责任、业务事实审批和交付检查。包括检查实际 URL、语言、规范地址和询问路径。应用于本任务,该方法建议实际交接:业务负责人确认陈述,内容负责人选择页面,实施负责人检查其公开表示,审核人核查文件仍指向批准信息。这是已发布方法的应用,不代表 SHMLANG 已为客户部署或测试该文件。
这是模板示例,不是成品文件或真实公司的业务描述:
# APPROVED_SITE_NAME
> APPROVED_PUBLIC_SUMMARY
APPROVED_CONTEXT_IF_NEEDED
## Documentation
- [APPROVED_PAGE_TITLE](CANONICAL_PUBLIC_URL)
在使用前,将占位符替换为批准的公开事实和真实规范目标。移除无实际用途的可选部分。未解决的占位符是验收检查失败,而不是可以先发布后修复的内容。
如果团队能就准确来源达成一致并维护其链接,小型指南是合理的。如果各部门对哪个页面拥有某一事实存在分歧,应先解决分歧。该文件无法使矛盾信息变得权威。
llms.txt 文件的有效管理依赖于明确的责任归属分配、定期审核周期和规范的运营流程。否则,该文件可能成为过时、不准确甚至泄露机密信息的来源,进而破坏信任并带来合规风险。
将 llms.txt 视为建议的文档格式,而非通用平台要求。其格式不是审批流程:你的团队需决定谁可发布事实以及如何审核变更。将此责任与 robots.txt 抓取指令和基于站点地图的 URL 发现区分开。这意味着准确性、时效性和适当性的责任完全由组织承担。实际操作中,这需要指定具体负责人——通常是有权审批公开事实、同时负责网站技术运维的人或团队。此人或团队应有权批准变更、解决事实来源争议,并在涉及敏感信息时与法务或合规方协调。
主要运营挑战之一是过时声明的风险:曾经准确的 URL 或事实可能变得过时或被重定向。应通过自身审核流程检查每一项保留声明和目标,而不是将文件发布视为验证。例如,若文档页面被移动或内容变更,llms.txt 中的对应条目必须及时更新。否则,智能体或下游使用系统可能依赖过时或错误信息。审核间隔应根据底层事实变更频率设定,并在责任归属或目标变更时重新评估。
重定向带来相关挑战。当 URL 变更时,文件应更新为新的规范目标,并移除或标注旧条目。否则可能导致智能体引用失效或传播已被取代的事实。
我们的发布政策是将每一条目视为公开,排除机密、内部或尚未到公开时间的材料。Markdown 格式便于人阅读,但如果内容未经适当审核从内部文档复制,也增加了意外泄露风险。严格的验收流程——要求每个新增或变更条目明确批准——有助于防止此类错误。
SHMLANG 已发布的 GEO 和自动化流程展示了管理面向公众文档的结构化方法。GEO 方法包括将问题映射到批准的品牌事实和可见来源调研,配合人工声明审核和重复观察。应用于本文件,流程会将事实检查与归因和报告分离,并要求指定审核人在发布前审核。这是减少可避免错误的建议控制措施,并不能证明每个下游答案都采用了批准事实。自动化工作流进一步强调映射触发器、数据、决策、负责人和失败,在受控循环中试点变更,并在发布前设置人工审核。这些方法支持 llms.txt 维护的可重复检查清单:
分配这些责任会增加运营负担,但相反——推迟责任归属或审核——则有过时或不准确信息公开的风险。如果你的组织已有健全的事实审批、内容审核和运营交接流程,维护 llms.txt 是可控的延伸。否则,传播错误或泄露机密的风险很大,建议等这些流程完善后再实施。
在考虑是试点小型 llms.txt 文件还是等事实来源和责任归属完全明确后再实施时,核心问题是你将发布信息的可控性和可靠性。只有能确定权威、稳定的事实来源并明确维护责任时,有限试点才有意义。否则,推迟更为安全。
试点有助于发现实际问题和流程缺口。例如,通过记录少量已知负责人的、易于理解且低风险的事实,你可以测试:
SHMLANG 已发布的方法支持这种渐进式上线。其 GEO 方法以问题基线为起点,将其映射到批准的事实来源,区分事实准确性与询盘归因,并要求明确报告和审核。这意味着即使是小型试点也应包括:
如果这些步骤连一小部分事实都无法完成,试点为时尚早。应优先明确事实责任归属、审批流程和公共来源的稳定性。
SHMLANG 的自动化工作流描述了小型试点在真实样本上检查准确性、延迟、成本、失败率、权限和恢复。这些是工作流指标;延迟和失败率未必适用于静态文件。我们的类比更窄:指定审核人、测试链接并暂缓发布未获批准的条目。此建议性调整并不代表已部署 llms.txt 服务或带来可见性提升。
如果出现新证据——如主要平台宣布支持 llms.txt,或你的组织建立了健全的事实责任归属和审核流程——试点的理由会更充分。这是假设性触发条件,而非预期平台公告。相反,如果事实来源或责任仍不明确,推迟依然是明智选择。可用文件会成为文档交付物。关于智能体读取和使用或引用收益的任何主张都需单独证据;仅凭试点成功还不够。
llms.txt 是可见性要求还是保证?llms.txt 仍是提案,并无引用保证。优先解决根本的读者问题:事实不准确、责任归属有争议或页面不可访问。当指南有助于传达批准信息且有人能维护时再添加。文件检查通过仅说明工作已完成,并不证明内容已出现在 AI 答案中。
Google 是否要求 AI Overviews 或 AI Mode 使用它?Google 的 AI Overviews 和 AI Mode 不需要特殊文件。将实施记录与实际答案观察分开。如果买家的问题是资格或页面实用性,应直接调查该问题,而不是假设另一个文件能解决。
OpenAI 的机器人文档说明了什么?OpenAI 区分搜索、训练和用户触发的机器人用途。这一区分并未说明某产品是否会读取该文件。使用相关机器人的文档化访问检查;不要将成功访问描述为已被引用。记录检查实际涵盖的产品和行为。
我们应何时审核指南?当事实、页面目标、责任归属或相关已发布指南发生变化时,审核指南。请负责人将每个保留条目与当前批准页面进行比对。如发现冲突,纠正来源或暂不纳入。下次审核应根据变更频率设定,而不是将已发布文件视为永久完成。
还没有评论,来发表第一条吧。