官网没人搜到?补个llms.txt让AI模型读懂企业
用户用豆包、通义搜索你们公司产品,结果第一条是竞品或百科词条。排查发现官网页面根本不在AI的训练语料里——这不是SEO老问题,而是生成式引擎的入口变了。
要让AI检索系统知道「你是谁、产品说什么」,需要两件事:一是让AI能抓取到你页面的结构化内容,二是让内容平台持续产出可被引用的素材。前者靠一份llms.txt文件,后者靠持续的内容分发和监测。
最少两行配置:
User-agent: *
Allow: /products/
第一行对全部AI模型开放,第二行指定产品页面路径可被读取,第三行引导爬虫找到站内所有页面的索引。如果不想让AI抓取后台管理页:
Disallow: /admin/
Disallow: /wp-admin/
常见问题是文件路径写错——它必须在域名根目录,不能放在/blog/或/docs/子目录下,否则AI模型找不到。另一个坑是把robots.txt和llms.txt混用:robots.txt阻止了爬虫访问llms.txt本身,配置全部失效。
我后来用笔阵做了一组对比:同一个产品话题,按不同平台规则分别成稿,然后持续追踪各平台内容的表现。llms.txt解决的是「AI能否找到你」,内容质量解决的是「AI愿不愿意推荐你"}
