AI爬虫被挡在门外
robots.txt误封、防火墙拦截、验证码挑战、SSL证书过期——任何一个环节出问题，GPTBot、PerplexityBot等爬虫就无法访问你的页面。证书过期会直接导致AI爬虫抓取失败，这是我们在实测中反复遇到的高频问题，却常常被运维忽视。
Why it matters
这项服务解决什么问题
AI不引用你，很多时候不是内容问题，而是技术问题。以下四类情况在企业官网中极为常见。
纯前端渲染，爬虫拿到空白页
CSR架构下，服务器返回的初始HTML只有一个空的根节点，全部内容依赖浏览器执行JavaScript后才出现。而多数AI爬虫不执行或仅有限执行JS，它们看到的就是一个空壳。你在浏览器里看到的丰富内容，在AI眼里根本不存在。
HTML结构混乱，AI读不懂
满屏div嵌套、没有语义化标签、标题层级跳跃、图片缺少alt、关键信息藏在图片或PDF里——AI解析页面时依赖HTML语义结构判断内容的主次与归属。结构混乱的页面即使被抓取，也难以被正确理解与引用。
页面太慢、层级太深，抓取预算被浪费
加载缓慢、移动端适配差、页面层级过深、内链断裂，都会消耗爬虫有限的抓取预算，导致重要页面长期得不到访问。信息架构扁平化与内链重建，是让AI高效遍历全站关键内容的前提。
Crawler Access
AI爬虫准入审计：谁该放行，谁可限制
不同爬虫的用途不同，准入策略也应不同。我们逐一核对robots.txt规则、服务器日志与防火墙策略，给出明确的放行建议。
| User-Agent 标识 | 所属平台 | 主要用途 | 建议策略与理由 |
|---|---|---|---|
GPTBot |
OpenAI | 模型训练数据抓取 | 建议放行 被纳入训练语料有助于模型对品牌的长期认知；若对内容版权有严格顾虑，可单独限制此爬虫而保留检索类爬虫。 |
OAI-SearchBot |
OpenAI（ChatGPT搜索） | 实时检索与引用 | 建议放行 直接决定ChatGPT回答中能否引用你的页面，是AI搜索可见度的关键入口，一般不应限制。 |
PerplexityBot |
Perplexity AI | 实时检索与引用 | 建议放行 Perplexity以引用来源为核心产品形态，放行后你的页面有机会作为答案来源被展示并带来点击。 |
ClaudeBot |
Anthropic | 模型训练数据抓取 | 按需放行 属训练类爬虫，是否放行取决于企业对内容用于模型训练的态度，我们会在审计报告中说明利弊供决策。 |
Bytespider |
字节跳动（豆包等） | 训练与检索抓取 | 建议放行 面向国内用户市场时，豆包等字节系AI产品的引用来源与其抓取覆盖密切相关，建议保持可访问。 |
Baiduspider |
百度 | 搜索引擎收录 | 必须放行 传统搜索基础流量的来源，同时百度系AI产品的信源与其搜索生态高度关联，任何情况下都不应封禁。 |
审计不止看robots.txt
robots规则写得对，不代表爬虫真的进得来。我们同时核查：服务器/CDN防火墙是否拦截非常见UA、是否存在人机验证挑战、HTTPS证书是否有效且未过期、HTTP状态码是否异常（403/429/5xx）、以及通过服务器日志验证各AI爬虫的实际到访与抓取成功率。
Rendering
渲染方式：CSR空壳问题与SSR/SSG选择
为什么纯CSR是GEO的隐形杀手
单页应用（SPA）与纯客户端渲染（CSR）站点的服务器响应，通常只包含一个空的容器节点与若干脚本引用。人类用户打开浏览器，JavaScript执行后看到完整页面；但AI爬虫大多不执行或仅有限执行JavaScript，它们拿到的就是那个空壳。结果是：内容团队辛苦产出的产品介绍、案例与知识文章，在AI侧完全不可见。
判断方法很直接：查看页面源代码（而非开发者工具的渲染后DOM），或用不执行JS的方式请求页面，看返回的HTML里是否包含正文文字。如果正文为空，就存在CSR空壳问题。
SSR还是SSG？按页面性质选择
- SSG静态生成：适合内容相对稳定的页面，如产品介绍、方法论、知识文章。构建时生成完整HTML，抓取友好度最高、性能最好、服务器成本最低，是GEO场景的首选。
- SSR服务端渲染：适合内容动态变化的页面，如价格、库存、个性化列表。每次请求实时生成HTML，兼顾动态性与可抓取性，但需要关注服务器响应时间。
- 预渲染/快照方案：如果短期内无法重构技术栈，可针对爬虫UA返回预渲染的静态快照，作为过渡方案。需注意快照内容与真实页面保持一致，避免 cloaking 风险。
我们不强制推翻现有技术栈。审计阶段会实测主流AI爬虫对你站点的真实抓取结果，结合改造成本与预期收益，给出分级建议：哪些页面必须改、哪些可以缓、哪些用过渡方案即可。
渲染方式改造检查清单
- ✓ 查看源代码验证初始HTML是否含正文
- ✓ 模拟不执行JS的抓取，比对内容完整性
- ✓ 关键页面（产品/案例/知识）优先SSG化
- ✓ 动态页面评估SSR可行性与响应时间
- ✓ 过渡期预渲染快照与真实内容一致性校验
- ✓ 改造后回归验证各AI爬虫抓取结果
robots · sitemap · llms.txt 三件套
robots.txt：按爬虫分类精细配置，放行检索与引用类爬虫，明确训练类爬虫策略，避免使用全站Disallow的一刀切写法。
sitemap.xml：覆盖全部希望被收录的关键页面，保持lastmod准确、结构分组清晰，并在robots.txt中声明位置。
llms.txt：在根目录部署面向大模型的站点说明文件，用Markdown概述品牌、核心业务与关键页面链接，帮助AI快速建立对站点的整体理解，并随内容更新同步维护。
Semantics & Performance
语义化HTML、性能达标与信息架构重建
语义化HTML标签规范
AI解析页面依赖HTML语义结构。我们按以下规范改造：
<header>：页头与品牌区，每页一个主header<nav>：导航区，配合aria-label区分主导航与页脚导航<main>：页面主体内容，全页唯一<article>：独立完整的内容单元，如文章、案例<section>：主题性内容分区，配标题使用<footer>：页脚信息与联系方式
同时规范h1–h6标题层级不跳跃、图片补全alt描述、关键信息不藏于图片与PDF、按需补充Schema.org结构化数据。
Core Web Vitals 与移动适配
页面性能影响抓取效率与AI对信源质量的判断。达标要求：
- LCP（最大内容绘制）：控制在2.5秒以内，优化首屏图片与关键资源加载
- INP（交互到下次绘制，FID的继任指标）：控制在200毫秒以内，减少主线程阻塞
- CLS（累积布局偏移）：控制在0.1以内，为图片与嵌入内容预留尺寸
移动适配方面：采用响应式布局而非独立移动站，确保移动端与桌面端内容一致，触控目标尺寸合理，字体可读，避免移动端隐藏关键正文。
HTTPS、信息架构与内链
安全与结构是抓取顺畅的保障：
- HTTPS与证书：检查证书有效期、证书链完整性、自动续期机制与全站HTTPS强制跳转。再次强调：SSL证书过期会直接导致AI爬虫抓取失败，站点在AI侧等同于下线
- 扁平化架构：关键页面距首页点击深度控制在三层以内，减少深层孤岛页面
- 面包屑导航：全站部署面包屑并添加对应结构化数据，帮助AI理解页面层级归属
- 描述性锚文本：内链锚文本使用具体语义描述而非「点击这里」，修复死链与重定向链
Deliverables
服务内容与交付清单
每一项工作都有明确动作与可验收的交付物，改造过程透明可回溯。
| 工作项 | 具体动作 | 交付物 |
|---|---|---|
| AI爬虫准入审计 | 核查robots.txt规则、防火墙与CDN拦截策略、人机验证设置；分析服务器日志中各AI爬虫的到访频率与状态码 | 《AI爬虫准入审计报告》与robots.txt修订方案 |
| 抓取可达性实测 | 模拟GPTBot、OAI-SearchBot、PerplexityBot、Bytespider、Baiduspider等UA实际请求关键页面，记录状态码、响应时间与返回内容完整性 | 《抓取可达性实测记录表》 |
| 渲染方式评估 | 查看源代码验证初始HTML正文覆盖率，识别CSR空壳页面清单，评估SSR/SSG/预渲染改造路径与成本 | 《渲染方式评估与改造建议书》 |
| sitemap.xml配置 | 梳理应收录页面清单，生成或修正sitemap结构分组与lastmod字段，在robots.txt中声明，提交至各搜索与AI平台 | 规范化sitemap.xml文件与提交记录 |
| llms.txt部署 | 编写面向大模型的站点说明文件，涵盖品牌简介、核心业务、关键页面链接与维护约定，部署至根目录 | llms.txt文件与内容维护说明 |
| 语义化HTML改造 | 按header/nav/main/article/section/footer规范重构页面标签，修正标题层级，补全图片alt，清理冗余嵌套 | 语义化改造代码与前后对照说明 |
| 结构化数据补充 | 为组织、产品、文章、面包屑、FAQ等页面类型添加Schema.org标记，并通过校验工具验证无错误 | 结构化数据代码与校验通过截图 |
| Core Web Vitals优化 | 诊断LCP/INP/CLS瓶颈，实施图片压缩与懒加载、关键CSS内联、脚本延迟加载、缓存策略等优化 | 《性能优化报告》与前后测数据对比 |
| HTTPS与证书检查 | 验证证书有效期与证书链、配置自动续期提醒、统一全站HTTPS跳转、排查混合内容告警 | 《HTTPS安全检查清单》与修复记录 |
| 信息架构与内链重建 | 梳理页面层级实现扁平化，部署面包屑及其结构化数据，重建内链网络并使用描述性锚文本，修复死链与重定向链 | 信息架构图、内链方案与死链修复清单 |
| 移动适配核查 | 多机型视口测试响应式表现，核对移动端与桌面端内容一致性，修正触控目标与字体可读性问题 | 《移动适配核查报告》 |
| 改造后回归验证 | 全部变更上线后，重新执行抓取实测与性能测试，确认各AI爬虫可正常访问并解析关键页面 | 《改造验收报告》与后续监测建议 |
Process
服务流程
从审计到验收，每一步都有明确的时间段与产出，低风险配置项分批上线，不影响现有网站运行。
-
01
技术现状审计第1–2周
全面核查爬虫准入、渲染方式、HTML语义、性能指标、HTTPS状态与信息架构，模拟主流AI爬虫实测抓取结果，形成问题清单并按影响程度分级。
-
02
改造方案确认第2–3周
输出分级改造方案：立即可做的低风险配置项、需要开发资源的结构改造项、可暂缓的优化项。与企业技术团队对齐排期、责任分工与回滚预案。
-
03
配置项快速上线第3–4周
优先落地robots.txt修订、sitemap.xml规范化、llms.txt部署、证书修复与HTTPS跳转统一等低风险高收益项，让AI爬虫先「进得来」。
-
04
深度改造实施第4–10周（视规模）
按方案推进渲染方式调整、语义化HTML重构、结构化数据补充、性能优化与内链重建。涉及渲染架构的变更先在测试环境验证，再灰度切换。
-
05
回归验证与验收改造完成后1–2周
重新执行全量抓取实测与性能测试，比对改造前后数据，输出验收报告。确认各AI爬虫可正常访问、解析关键页面，性能指标达到约定目标。
-
06
持续监测交接验收后持续
移交监测清单与运维注意事项（证书续期、robots变更审批、新页面语义规范等），可衔接「AI推荐效果监测」服务持续跟踪抓取与引用表现。
Fit
适合什么样的企业
我们如实说明适用边界，技术改造并非对所有企业都是当下最优先的投入。
✓ 适合谁
- 官网采用SPA/纯前端渲染，怀疑AI爬虫抓不到内容的企业
- 已在做内容与SEO，但AI问答平台始终不引用自家官网的企业
- 官网历史较久、HTML结构混乱、缺少语义化标签与结构化数据的企业
- 页面加载慢、移动端体验差、Core Web Vitals不达标的企业
- 准备启动GEO全案，需要先打好技术地基的企业
- 曾出现SSL证书过期、服务器拦截爬虫等技术事故，希望建立常态化检查机制的企业
✕ 暂不适合谁
- 官网尚未建成，或正处于整体重构选型阶段——建议先完成建站再谈GEO改造
- 核心获客完全不依赖官网（如纯线下、纯电商平台内经营），且短期内无品牌AI可见度诉求
- 期望只改技术、不做任何内容与信源建设，就获得AI推荐——技术是地基，不是全部
- 内部无任何技术对接资源，也无法授权我们与其建站服务商协作的情况
- 对内容被AI抓取有严格合规限制且不愿区分训练/检索爬虫做精细策略的行业，需先内部决策
不确定自己属于哪种情况？
可以先做一次「AI可见度诊断」，用AIV Index量化评估你在主流AI平台的可见度现状，诊断报告会明确指出技术层、信源层、内容层各自的短板，再决定是否需要以及优先做哪些技术改造。
Measurement
效果如何衡量
技术改造的效果可验证、可复测，我们用「泓·智信引擎」配套的AIV Index中与可抓取性、可解析性直接相关的维度进行前后对比。
对应的AIV维度
- 可抓取性：各主流AI爬虫对关键页面的请求成功率、状态码分布与到访频率（基于模拟实测与服务器日志）
- 可解析性：初始HTML正文覆盖率、语义标签完整度、结构化数据校验通过率
- 技术健康度：Core Web Vitals三项指标达标情况、HTTPS有效性、死链率
复测频率与方式
- 改造上线后第2周进行首次回归复测，确认变更生效
- 此后每月复测一次抓取可达性与性能指标，连续三个月稳定后可转为季度复测
- 证书到期、robots变更、站点改版等重大事件触发即时复测
- 每次复测输出前后数据对照，异常项附排查建议
与业务指标的关系
技术改造本身不直接承诺AI推荐排名——推荐与否还取决于信源权威性与内容质量。但它是必要条件：抓取失败率降为零、正文覆盖率达标后，内容层与信源层的投入才能真正被AI看见。后续可衔接「AI推荐效果监测」服务，跟踪引用与推荐层面的表现变化。
FAQ
常见问题
取决于你的目标。如果希望品牌被AI问答平台引用与推荐，建议放行GPTBot、OAI-SearchBot、PerplexityBot、Bytespider等抓取与检索类爬虫；Baiduspider属于传统搜索基础流量，必须放行。ClaudeBot主要用于模型训练，可按自身内容策略决定是否放行。若担心内容被用于训练，可只限制训练类爬虫，保留搜索与引用类爬虫的访问权限。我们会在审计报告中给出与你业务目标匹配的具体配置。
多数AI爬虫与检索型爬虫不执行或仅有限执行JavaScript。纯CSR站点返回的初始HTML往往只有一个空的根节点和一堆脚本引用，爬虫拿到的就是空白页面，内容再丰富也无法被识别与引用。解决路径包括改造为SSR服务端渲染、SSG静态生成，或至少对关键页面做预渲染与快照输出。我们会在审计阶段实测各主流爬虫对你站点的抓取结果，再给出成本与收益匹配的改造建议，不强制推翻现有技术栈。
llms.txt是放置在网站根目录的一个Markdown格式说明文件，用于向大语言模型介绍站点结构、核心页面与关键信息，帮助AI更高效地理解你的品牌与业务。它目前不是强制标准，但部署成本极低，且已有部分AI工具会主动读取。我们建议作为技术改造的标准动作之一部署，并保持与站点内容同步更新。你可以在本站根目录查看我们自己的llms.txt作为示例。
AI爬虫与传统搜索引擎爬虫一样，通过HTTPS协议访问站点。证书过期、证书链不完整或域名不匹配时，爬虫建立连接会直接失败，返回的是握手错误而不是页面内容，站点在AI侧等同于不可访问。这是我们实测中的高频问题，很多企业内容质量不错，却因为证书运维疏失长期被排除在引用来源之外。改造中我们会检查证书有效期、自动续期机制与全站HTTPS跳转一致性，并给出运维提醒方案。
审计与方案阶段通常需要一至两周，具体改造周期取决于站点规模与技术栈。robots、sitemap、llms.txt、语义化标签等属于低风险配置项，可分批上线；涉及渲染方式调整的改造建议在测试环境验证后再灰度切换。整个过程以不影响现有访问与收录为原则，每一步变更都有回滚方案，并与你的技术团队或建站服务商协同执行。
不会。技术改造解决的是「抓得到、读得懂」的问题，是AI可见度的地基；而AI是否引用与推荐，还取决于信源权威性、内容结构化程度与语义覆盖。我们建议技术改造与AI信源建设、结构化内容改造配合推进；如果预算有限，可以先通过AI可见度诊断明确当前短板，再决定投入顺序，把每一分预算花在当下最能提升可见度的环节。
More Services
其他服务
官网GEO技术改造是地基，配合以下服务可构建完整的AI可见度体系。
鲤元GEO全案托管
从诊断、信源、内容到技术与监测的一站式GEO全案服务，适合希望整体委托的企业。
查看详情 →AI可见度诊断
基于AIV Index量化评估品牌在主流AI平台的可见度现状，明确短板与优先级。
查看详情 →AI信源建设
构建AI愿意引用的权威信源矩阵，提升品牌信息在AI语料中的覆盖与可信度。
查看详情 →结构化内容改造
将现有内容重组为AI易解析、易引用的结构化形态，提升被引用概率。
查看详情 →AI推荐效果监测
持续跟踪品牌在各AI平台的提及、引用与推荐表现，用数据验证投入效果。
查看详情 →泓·智信引擎方法论
了解鲤元GEO所有服务背后的自研方法论体系与AIV Index评估框架。
查看详情 →先给你的官网做一次AI抓取体检
提交网址，我们将模拟主流AI爬虫实测抓取结果，告诉你哪些页面AI根本看不到、问题出在哪里。电话 155-2010-5565，或添加微信 ciyuan5565 沟通。