抓取、索引、排名是三个先后不同、可以分别验证的环节:抓取是搜索引擎发现并读取页面,索引是把读取到的内容处理后存入可供检索的库,排名是用户搜索某个词时页面能否出现以及出现在什么位置。区分它们的关键不是猜,而是看现象落在哪一步:搜完整网址能否命中、搜标题或独特句子能否命中、搜目标词能否命中,三种结果对应的问题环节不同。多人协作时,把这三步写成可交付的检查项,能避免把“没排名”直接当成“没收录”来返工。
假设某株洲本地服务团队上线了一个新页面,希望覆盖一个本地服务词。上线一周后,负责内容的人说“没排名”,负责技术的人说“已经提交了”,两边各说各话。这时不要争论,按下面顺序做三次检索,每次只记录命中与否。
三次结果可以组成一张判断表:网址不中、句子不中、目标词不中,先查抓取与索引;网址中、句子不中、目标词不中,先查页面内容是否被正确解析;三项全中但目标词位置差,才进入排名优化讨论。这个顺序的价值在于,它把“没排名”拆成了可以分别交付的结论。
抓取关注的是搜索引擎能否访问到页面。常见检查项包括:页面是否返回正常状态码、是否被 robots 规则挡住、服务器是否稳定响应、内链是否能让爬虫走到这个页面。这里要区分“可能原因”和“已经定位的原因”:状态码异常只是可能原因之一,只有实际验证到返回异常,才能说抓取受阻已定位。
抓取成功不等于索引成功。一个页面可以被反复抓取,却因为内容质量、重复度过高或明确设置了不索引指令而没有进入索引。所以看到日志里有抓取记录,不能直接宣布“已经收录”。
索引关注的是页面内容是否被采用。可执行的检查包括:搜索完整网址看是否命中、搜索标题独特短语看是否命中、确认页面没有输出不索引指令、确认主要内容不是依赖交互才出现。多人协作时,建议把“已提交网址”和“已确认索引”写成两个不同的交付状态,前者只是动作,后者才是结果。
如果网址能搜到但标题或摘要与预期差异很大,通常说明索引已建立但内容理解与展示有偏差,这属于索引后的展示问题,不要归到抓取失败。如果搜索独特句子完全无结果,而网址能命中,则要检查正文是否被脚本延迟加载、是否被模板代码淹没。
排名关注的是在特定查询下页面与其他页面的相对位置。它受查询意图、内容匹配度、页面体验、外部信号等多种因素影响,且不同搜索引擎、网页搜索与平台推荐、付费广告之间不能混为一谈。判断排名问题时,先固定查询词、地区设置和设备类型,再看页面是否出现以及大致位置。位置会随查询和时间变化,不适合用单次观察下结论。
如果抓取和索引都已确认,目标词仍不见页面,可以对比同词下已出现的页面:它们覆盖了什么信息、结构是否更清晰、是否更贴合本地意图。这个对比是排名优化的起点,而不是重新提交网址或反复改标题。
下一步可以直接做一件事:选一个目标页面,按“完整网址、标题独特短语、目标业务词”依次检索,把三次结果写进同一张交付记录。三次结果落定后,再决定是修抓取、修索引,还是进入排名优化,返工就会明显减少。