遇到死链,不要先改链接。判断问题属于哪一层,关键看“谁在报错、错误发生在哪一步”:如果访问一个具体URL返回404或410,问题在页面层;如果页面能打开,但站内入口指向了错误地址,问题在链接层;如果页面正常、链接也正常,却在搜索结果或抓取工具里持续出现异常,问题才可能落到索引层。先定位层级,再决定改链接、恢复页面还是提交移除。
链接层的问题表现为:目标页面本身可访问,但某个入口、导航、正文引用或站点地图里写的是旧地址、拼错地址、带多余参数或协议不一致的地址。用户点击后跳向错误位置,爬虫顺着这条链接也会抓到错误地址。
判断方法:把报错URL复制出来,与目标页面当前真实地址逐字对比,重点看路径、大小写、结尾斜杠、查询参数和协议。若两者只差一个字符或一段旧路径,基本可归入链接层。
适用条件:页面仍存在且内容有效,只是引用它的地方写错了。此时应修改引用源,而不是删除目标页面。验收信号是:修正后再次访问该入口,不再跳到错误地址;抓取工具重新抓取该入口时,返回状态与目标页面一致。
页面层的问题表现为:访问某个URL时,服务器明确返回404、410或类似“资源不存在”的状态。此时无论站内有多少链接指向它,目标本身已经缺失。
判断方法:用浏览器直接访问该URL,再用抓取或状态检查工具确认返回码。若返回404或410,且页面内容确实已下线,问题就在页面层。若返回200但内容空白、报错或跳转到无关页,也要按页面层处理,因为目标资源没有正常交付。
处理时要区分两种情况:
验收信号:永久下线的地址返回404或410;已迁移的地址返回301并最终到达有效页面;站内不再出现指向旧地址的入口。
索引层的问题表现为:原地址已经404或已跳转,站内链接也清理了,但在搜索结果、抓取报告或索引状态检查中仍能看到旧地址。这不等于页面层没处理,而是索引更新滞后,或旧地址仍被外部链接、历史抓取记录引用。
判断方法:先确认页面层和链接层已经处理完毕,再检查旧地址当前返回码、新地址是否可访问、是否有301、站点地图是否只包含有效地址。若这些都没问题,才考虑索引层。
此时可执行的步骤:
需要特别注意:robots.txt的抓取限制不等于可靠的索引移除。它可能阻止爬虫抓取,但已收录地址仍可能出现在搜索结果中。站点地图也不保证收录,它只是帮助发现地址。HTTPS同样不保证安全无漏洞或排名提升,不能用来判断死链层级。
验收信号:旧地址在抓取检查中返回预期状态;新地址可正常访问;搜索结果中的旧地址逐步被新地址替代或消失。不同搜索引擎支持情况须分别核查,不能用一个平台的结果直接推断另一个平台。
判断顺序建议从页面层开始,再看链接层,最后看索引层。因为页面层决定目标是否存在,链接层决定入口是否正确,索引层决定外部呈现是否更新。跳过前两层直接处理索引,容易把链接错误或页面缺失误判为收录问题。
选一批报错地址,逐个记录当前返回码、最终跳转地址和站内引用位置。返回404或410的归入页面层;能打开但入口写错的归入链接层;前两项都正常却仍出现在搜索结果的,再归入索引层。按这个顺序处理,验收时也按同一顺序复查:页面状态、入口地址、索引呈现。