本文约 2,679 字,预计阅读 7 分钟。文中命令与配置均经过实测,可直接参考执行。
引言:数字在跌,生意没跌
资源平台索引量从 9000 掉到 5200,站长群里一片”是不是被 K 了”。但打开百度统计,日 IP、点击、转化几乎没有变化。这种”指标跌、业务稳”的组合,恰恰说明站点大概率没出问题——真正被降权时,流量会同步甚至更早下跌。收录量与流量之所以会脱钩,是因为索引库里相当一部分页面从来没带来过任何访问:聚合页、标签页、采集来的旧内容、参数变体、被 canonical 合并的重复页。百度定期清理这些”库存”,数字掉了,收益不变。本文把这类现象拆成四类原因,并给出确认方法。
原理分析:收录量里有多少是”无效库存”
一个内容型站点的 URL 构成通常是金字塔形:顶部是少数带来 80% 流量的核心文章,中部是常规文章,底部是大量自动生成、内容稀薄、无人访问的页面(标签组合、翻页、附件、参数变体、空栏目)。百度对底部页面做清理时,索引量会出现大幅下降,但对流量毫无影响。
四类脱钩原因:
| 原因 | 机制 | 可验证信号 |
|---|---|---|
| 低质页清理 | 算法或定期评估移除采集/聚合/空页 | 掉的 URL 集中在某一类型 |
| 重复页合并 | canonical 或相似页聚合生效 | 掉的是参数变体、翻页 |
| 口径差异 | 索引量是估算值、随时间波动 | 曲线小幅震荡,无方向性 |
| 季节性波动 | 内容时效性与用户需求变化 | 同期流量也有季节性 |
百度历史上多次针对低质内容的算法升级(如打击采集与聚合页的飓风算法、针对标题作弊与恶劣广告的清风算法、针对落地页体验的冰桶算法等)都属于这一类:它们清理的是底部页面,优质页面不受影响。如果你的核心文章排名、流量都稳定,就不需要为此做特殊动作。
保姆级实操
第一步:确认掉的是哪一批页面
这一步决定要不要干预。用 SQL 把站内页面按类型与质量分档:
-- 按正文长度分档统计文章数量,找出"内容稀薄"的占比
SELECT CASE
WHEN CHAR_LENGTH(post_content) < 500 THEN 'A: <500字'
WHEN CHAR_LENGTH(post_content) < 1500 THEN 'B: 500-1500字'
WHEN CHAR_LENGTH(post_content) < 4000 THEN 'C: 1500-4000字'
ELSE 'D: >4000字'
END AS bucket,
COUNT(*) AS cnt
FROM wp_posts
WHERE post_type = 'post' AND post_status = 'publish'
GROUP BY bucket
ORDER BY bucket;
-- 统计标签/分类数量,判断自动聚合页规模
SELECT (SELECT COUNT(*) FROM wp_terms) AS terms,
(SELECT COUNT(*) FROM wp_term_taxonomy WHERE taxonomy='post_tag') AS tags,
(SELECT COUNT(*) FROM wp_posts WHERE post_type='attachment') AS attachments;
如果把 A 档文章数、标签数、附件数加起来接近”掉的量”,基本可以确认是底部清理。
第二步:用日志确认这些页面本来就没有流量
# 找出被抓取最多但几乎无用户访问的 URL(抓取预算黑洞)
awk '{print $7}' /var/log/nginx/access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -30
# 对比真实用户(非蜘蛛)访问 Top
grep -vi 'spider\|bot' /var/log/nginx/access.log | awk '{print $7}' | sed 's/?.*//' | sort | uniq -c | sort -rn | head -30
两份列表交集很少的部分,就是被清理的候选。
第三步:看核心页是否受影响(别用 site 数判断,原因见site指令结果与实际收录不一致)
把带来 80% 流量的 20 篇文章列出来,逐个用完整标题在百度精确搜索(加英文引号)。只要它们都还在,就无须干预。
第四步:顺手做减法
把确认无价值的底部页面用 noindex 处理(注意不要同时用 robots 屏蔽),减少未来重复清理带来的波动,同时把抓取预算释放给核心内容。
第五步:记录基线
把当前索引量、真实蜘蛛抓取量、流量三者的对应关系记下来,下次波动时就有参照。
第六步:只在流量同步下跌时启动深度排查
若索引量与流量同时下跌,才需要按内容、规则、服务器三路排查(规则误封、改版 301 缺失、服务器 5xx 等)。
常见踩坑
- 看到数字跌就大改:频繁改版会让百度重新认识站点,反而延长不稳定期。
- 把清理掉的页面又提交回去:低质页被清掉是好事,重新推送只会浪费配额。
- 用 site 数交叉验证:site 本身不可靠,用平台索引量 + 日志 + 标题抽检。
- 忽略 canonical 合并带来的”假性下降”:重复 URL 被合并后,索引量显示减少,实际内容仍在。
- 案例:某资源站索引量三个月从 1.2 万降到 7000,站长慌乱中删了 2000 篇老文章,结果流量反而掉了 15%——被删的里面混着一批长尾流量页。事后分析发现,原本掉的 5000 条全是标签组合页与附件页,本就不该管。教训是:先确认掉的是谁,再动手。
- 把季节性波动当成算法打击:旅游、考试、节日类站点有明显的季节性,索引与流量都会周期性变化。
- 只盯总量不看结构:总量下降但核心页占比上升,其实是结构改善。
总结
判断标准:收录下降是否值得干预,只看一件事——带来流量的核心页有没有掉。核心页稳、流量稳,就是底部清理,可以顺势做减法;核心页掉了,才启动深度排查。行动清单:SQL 给页面分档 → 日志对比蜘蛛抓取与真实访问 → 核心 20 篇标题精确抽检 → 对无价值页加 noindex 而非 robots 屏蔽 → 记录三项指标基线 → 流量同步下跌时才做三路排查。若确实出现全站性下降,请按百度索引量突然下降的排查流程处理。
