本文约 2,767 字,预计阅读 7 分钟。文中命令与配置均经过实测,可直接参考执行。
引言:曲线掉下去,先别急着改标题
某天打开资源平台的索引量报表,发现一周内从 8000 掉到 3500。第一反应往往是”是不是被降权了”,于是开始改标题、删文章、加外链——这些动作大多无效,因为它们没有对准病因。索引量下降只有三大类原因:内容被清理(算法或质量评估)、抓取规则出错(robots/noindex/改版)、服务器与结构问题(死链、5xx、301 缺失)。三类原因的排查方法完全不同,按顺序走一遍,通常半小时内能定位到具体是哪一类。
原理分析:索引量是”存量”,下降意味着清理
索引量是百度索引库中属于你站点的页面数量,是存量指标。它下降说明百度主动移除了页面,常见触发因素:
| 类别 | 触发因素 | 典型特征 |
|---|---|---|
| 内容 | 命中飓风算法(采集/聚合)、清风算法(标题作弊/恶劣广告)、低质清理 | 下降集中在某一类页面(如聚合页、采集栏目) |
| 规则 | robots 误封、模板误加 noindex、canonical 指向错误 | 全站或整目录均匀下降 |
| 服务器 | 5xx/超时、改版未 301、大量死链、被 WAF 拦截 | 抓取日志异常码陡增 |
判断技巧:看下降的”形状”。集中掉某一类页面 → 内容问题;全站等比例掉 → 规则问题;伴随抓取异常码上升 → 服务器问题。
保姆级实操
第一步:确认下降范围
在资源平台「索引量」看曲线,并记录下降起始日期。然后倒推当天你做了什么:改模板?换插件?改伪静态?改 robots?搬家?这一步能解决一半的case。
第二步:规则复查(最快排除)
- 访问
/robots.txt确认未误封; - 抓取首页与文章页源码,grep 是否出现
noindex:
curl -s https://mimangfei.com/ | grep -i 'robots'
curl -sI https://mimangfei.com/some-post/ | grep -i 'x-robots-tag'
# 期望:没有 noindex 字样
- 检查 canonical 是否指向了别的域名或首页(插件升级后常见)。
第三步:内容与算法命中判断
用 SQL 找出明显低质的页面,看被清理的是不是它们:
-- 找出正文过短的文章(WordPress)
SELECT ID, post_title,
CHAR_LENGTH(post_content) - CHAR_LENGTH(REPLACE(post_content,'<','')) AS tag_len,
CHAR_LENGTH(post_content) AS len
FROM wp_posts
WHERE post_type = 'post' AND post_status = 'publish'
HAVING len < 800
ORDER BY len ASC
LIMIT 50;
-- 找出标题高度重复的页面(易命中低质评估)
SELECT post_title, COUNT(*) AS c
FROM wp_posts
WHERE post_type = 'post' AND post_status = 'publish'
GROUP BY post_title
HAVING c > 1
ORDER BY c DESC
LIMIT 30;
若下降的正是这些页面,说明是质量清理而非惩罚,属于正常调整。
第四步:服务器与结构核对
# 1) 抓取异常码是否陡增
grep -i "Baiduspider" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# 2) 批量检查 sitemap 里的 URL 是否都能返回 200
grep -o '<loc>[^<]*</loc>' /path/to/baidu-sitemap.xml | sed 's/<[^>]*>//g' > /tmp/urls.txt
while read -r u; do
code=$(curl -s -o /dev/null -w '%{http_code}' -A 'Mozilla/5.0 (compatible; Baiduspider/2.0)' "$u")
[ "$code" != "200" ] && echo "$code $u"
done < /tmp/urls.txt | head -40
第五步:改版与迁移核对
如果近期改过 URL 结构或换过域名,确认 301 是否生效、资源平台的「网站改版」是否提交、HTTPS 迁移是否做了规则。缺 301 是索引量暴跌最常见的技术原因。
第六步:提交死链与等待
确认无法恢复的 URL 整理成 txt,通过资源平台「死链提交」提交;误删的内容恢复后重新推送。质量类清理通常需要数周至一个更新周期才有回升。
常见踩坑
- 把正常的质量清理当成惩罚:百度定期清理低质页,索引量下降但流量不降是常见现象。
- 下降后立刻大改:频繁改版会让百度更难判断站点结构,延长恢复时间。
- 只看索引量不看流量:索引量是过程指标,流量与排名才是结果指标。
- 忽略 404 暴增:改版后旧 URL 全 404,索引量必然掉。
- 案例:某站索引量一周内从 6000 掉到 2100,站长以为是算法惩罚。用上面的脚本批量检查发现,插件升级后 canonical 全部指向了首页,百度把整站文章判为首页的重复页。修好 canonical 并重新推送后,三周恢复到 5400。这个 case 的典型之处是——流量几乎没变,因为排名页本身没被清理,被清理的是大量同质页面。
- 误开闭站保护:搬家期间使用闭站保护后忘记恢复,站点会被整体移出索引。
- 只看首页不看内页:首页正常不代表内页没被 noindex,抽样核验方法见site指令结果与实际收录不一致。
总结
判断标准:先看下降”形状”定位类别(集中→内容,均匀→规则,伴随异常码→服务器),再按类别执行修复。行动清单:记录下降日期并倒推变更 → 复查 robots/noindex/canonical → SQL 找出低质页并比对 → 批量检查 sitemap URL 状态 → 核对 301 与改版规则 → 死链提交 + 重新推送 → 稳定观察 4 周。若索引量下降但流量未变,多半属于正常的低质页清理,详见百度收录变少但流量未变的原因。
