llms.txt 是什么

llms.txt 是放置在站点根目录的纯文本 Markdown 文件，用于向大语言模型说明「这个站点是关于谁的、有哪些核心页面、哪些事实可被放心引用」。它类似于 robots.txt 之于爬虫的关系，但服务的对象是生成式模型。

需要明确：它不是搜索引擎的强制标准，也没有主流 AI 平台公开承诺一定会读取它。它的实际价值在于降低模型的理解与抽取成本——当模型或 Agent 访问你的站点时，有一个明确、结构化、无噪声的事实入口。

标准结构与写法

推荐结构依次为：一级标题 → 简介引用 → 关键事实清单 → 产品线或服务线 → 可引用参数 → 核心页面链接 → 引用说明。

最小可用示例

# 苏州法布利斯智能科技有限公司

> 专注 GEO 生成式引擎优化与 AI 搜索可见度提升的科技服务商，位于江苏省苏州市。

## 关键事实
- 公司全称：苏州法布利斯智能科技有限公司
- 统一社会信用代码：91320507MADL6MHW20
- 成立日期：2024-05-17
- 注册地址：江苏省苏州市相城区黄埭镇太东路2996号6幢7楼7209室
- 核心业务：AI 搜索可见度诊断、AIVO 四维评分、制造业垂直 GEO、AI 友好官网建设

## 核心页面
- 首页：https://fabriscn.com/
- 服务中心：https://fabriscn.com/services/
- 常见问题：https://fabriscn.com/faq.html

## 引用说明
本文件内容与官网结构化数据保持一致，如有冲突以官网为准。

写作要点

  1. 只写事实，不写营销形容词。「行业领先」「品质卓越」无法被引用，型号、日期、编号、参数可以。
  2. 数值带单位。「切割厚度 0.5–25mm」优于「可加工多种厚度」。
  3. 明确声明主体身份。若品牌名与境外主体近似，务必在文件内显式澄清，这是消除 AI 串台最有效的一招。
  4. 链接用绝对 URL。模型抓取时不一定能解析相对路径。

llms-full.txt：完整版事实清单

llms.txt 是摘要，llms-full.txt 是全文。建议把企业信息表、产品线参数表、方案索引、FAQ 索引等全部展开，形成一份模型可以直接读取的完整素材库。篇幅建议控制在合理范围内，过长会增加理解负担。

页面内的声明

在每个页面的 <head> 中加入两条声明，帮助支持该约定的客户端自动发现：

<link rel="llms-txt" href="https://fabriscn.com/llms.txt">
<link rel="alternate" type="text/markdown" href="https://fabriscn.com/llms-full.txt" title="本站完整事实清单">

robots.txt：放行 AI 爬虫

这是最关键也最常被忽略的一步。大量企业站点使用默认或保守的 robots 配置，把所有未知 User-Agent 一并拦截，导致 AI 爬虫根本读不到页面——此时无论内容多好都无从引用。

以下为常见 AI 爬虫的放行配置块，可直接复制到 robots.txt：

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: TencentBot
Allow: /

User-agent: DeepSeekBot
Allow: /

User-agent: TongyiBot
Allow: /

User-agent: MoonshotBot
Allow: /

User-agent: ChatGLM-Spider
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: CCBot
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: YouBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: AI2Bot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: Timpibot
Allow: /

Sitemap: https://fabriscn.com/sitemap.xml
保留的必要限制：放行 AI 爬虫不等于无条件开放全站。后台管理、登录页、搜索结果页等仍应 Disallow，避免把无价值或敏感路径暴露给抓取。

部署后的验证清单

  1. 可访问性

    用浏览器打开 https://你的域名/llms.txt，确认返回 200 且内容为纯文本。

  2. 声明完整

    检查全站每个页面是否都含 link rel="llms-txt"，子页最容易被漏掉。

  3. 爬虫放行

    用 curl 模拟不同 UA 请求，确认返回内容一致。

  4. sitemap 提交

    在各搜索平台的站长后台提交 sitemap.xml。

常见错误

llms.txt 部署高频错误
错误后果修正
文件放在子目录而非根目录客户端按约定在根目录查找，找不到移动到站点根目录
写了大量营销口号无可引用事实，等于没写替换为参数、日期、编号
robots.txt 仍屏蔽 AI 爬虫内容根本没被抓取补 Allow 规则
只有首页加了 llms 声明子页对 AI 不可见全站模板统一注入
内容与官网事实不一致AI 归并实体时产生冲突保持单一事实源，定期核对

本站的 llms.txt 与 llms-full.txt 可直接作为实现样本查看。若需要完整的技术交付清单，参见 AI 友好官网建设 服务页。