本文约 3,110 字，预计阅读 8 分钟。文中命令与配置均经过实测，可直接参考执行。
引言：抄我内容的站排名比我还高
最让人愤怒的一类问题：自己辛苦写的原创文章，被同行的站点整篇抄走，过几天发现对方的排名还在自己前面。去网上查，得到的答案通常是“重复内容会被 Google 惩罚”——但现实里那个抄袭站活得好好的。
这里需要先纠正一个流传已久的说法：Google 官方明确表示，绝大多数情况下不存在“重复内容惩罚”（duplicate content penalty）。重复内容的处理机制是聚类（clustering）与选择：把相似的内容归为一组，从中选出一个作为代表展示，其余的折叠或排除。惩罚只出现在极端的、以欺骗为目的的情况（大规模采集站、 doorway pages）。所以你看到的现象不是“你被罚了”，而是Google 选了它而不是你——这通常意味着它在某些信号上强过你（外链、站点权威、发布时间更早、页面更完整）。
原理分析：重复内容的三种来源与处理方式
一是站内重复（同一域名内的相似页面）。 来源包括：http/https 与 www 变体、带参数 URL、打印页或 AMP 版本、分页与筛选组合、以及产品多规格页。处理方式是聚类后选一个代表，其余标记为「替代网页（已正确规范化的网页）」排除出索引。这属于正常现象，不是故障。
二是跨站转载（不同域名间的内容复制）。 来源包括：授权转载、被采集、同一份内容发在多个平台（知乎专栏、公众号、公司博客）。处理方式是按发布时间、站点权威度、页面完整度挑选代表。这里的关键是原创方的信号要足够强，否则就会被选中别人的版本。
三是技术性重复（URL 变体）。 大小写差异、尾斜杠、session ID、追踪参数。这类几乎全部靠 301 统一 + canonical 自引用解决。
| 来源 | Google 的处理 | 你的应对 |
|---|---|---|
| 协议/域名变体 | 按 301 与链接信号选一个 | 服务器层 301 统一 |
| 参数 URL | 聚类，选主要被链接的版本 | canonical 自引用 + 内链接统一 |
| 分页 | 每页独立，不合并 | 自引用 canonical + 真实分页链接 |
| 授权转载 | 选权威度高的 | 用 canonical 指向原文或要求对方加 |
| 被采集 | 通常选原创，但需信号支撑 | 加外链、加结构化数据、主动提交 |
| 大规模采集站 | 垃圾内容政策处理 | 无需自己处理 |
保姆级实操
步骤 1：先在数据库里把站内相似内容找出来。 印象是靠不住的，用 SQL 直接查。下面两条查询分别找出标题高度相似和正文长度一致的可疑页面：
-- 1) 找出标题规范化后完全相同的已发布文章（典型模板化标题）
SELECT
LOWER( TRIM( REPLACE( REPLACE( post_title, ' ', ' ' ), ' ', ' ' ) ) ) AS norm_title,
COUNT(*) AS cnt,
GROUP_CONCAT( ID ORDER BY ID SEPARATOR ',' ) AS ids
FROM wp_posts
WHERE post_status = 'publish' AND post_type = 'post'
GROUP BY norm_title
HAVING cnt > 1
ORDER BY cnt DESC
LIMIT 50;
-- 2) 找出正文去除标签后长度完全相同、且内容前缀 80 字符一致的文章
SELECT
a.ID AS id_a, b.ID AS id_b,
a.post_title AS title_a, b.post_title AS title_b,
CHAR_LENGTH( a.post_content ) AS len
FROM wp_posts a
JOIN wp_posts b
ON a.ID < b.ID
AND a.post_type = b.post_type
AND a.post_status = 'publish'
AND b.post_status = 'publish'
AND a.post_type = 'post'
AND CHAR_LENGTH( a.post_content ) = CHAR_LENGTH( b.post_content )
AND LEFT( REPLACE( REPLACE( a.post_content, '\r\n', '' ), ' ', '' ), 80 )
= LEFT( REPLACE( REPLACE( b.post_content, '\r\n', '' ), ' ', '' ), 80 )
LIMIT 100;
步骤 2：对查出的页面做三选一。 内容确实重复且无独立价值的 → 301 到保留页；有部分差异的 → 补充差异化信息（真实数据、地区信息、规格参数）后保留；本就不该存在的 → 404。
步骤 3：统一 URL 形式。 在服务器层把 http→https、非 www→www（或反向）全部 301。这一步能一次性消灭最大一批技术性重复。
步骤 4：让全站 canonical 自引用。 具体改法见 canonical 标签的正确使用，重点是通过 get_canonical_url 过滤器改，而不是自己输出第二个标签。
步骤 5：处理跨站转载的两条路径。 授权转载时，要求对方在页面加 <link rel="canonical" href="原文地址">（跨域 canonical 在授权场景下有效）；被恶意采集时，走 Google 的版权移除流程（DMCA），而不是靠 SEO 手段。
步骤 6：给原创内容加“身份证明”。 作者信息、发布时间、更新时间、数据来源引用、以及 Article 结构化数据里的 datePublished/author。这些信号在聚类选择时会加权给原创方。
常见踩坑
- 相信“重复内容会被惩罚”。 实际是聚类与选择，方向完全不同。
- 把转载方的页面用 canonical 指向自己。 跨域 canonical 需要对方配合，你自己改没用。
- 认为删掉自己的旧版本能让新版本上位。 删掉的是信号积累，不是重复。
- 用 robots.txt 屏蔽重复页。 见 noindex 与 robots 屏蔽的区别，会留下无摘要结果。
- 分页全部 canonical 到第一页。 后续页内容会彻底丢失。
- 只处理内容重复不管 URL 变体。 后者通常数量更大。
- 案例： 一个技术博客把同一篇文章同时发在自建站和某平台专栏，两边内容一字不差，但自建站没有作者信息、没有外链、发布时间也晚一天。半年内搜索该标题，展示的一直是平台版本。后来他们做了三件事：给自建站补上作者页与
Article结构化数据、把文章在站内做了内链推荐、并在平台版底部加上“原文链接”（平台支持自定义文末）。两个月后自建站版本成为 Google 选择的规范网址。谁被选中，取决于信号强度而不是谁先写。
总结
处理重复内容的顺序是：先消灭 URL 变体（301 统一）→ 再 canonical 自引用 → 然后清理站内真重复（301/404）→ 最后处理跨站转载（要求对方 canonical 或走 DMCA）。判断标准看 GSC 索引报告里「替代网页（已正确规范化的网页）」这个分组：如果它持续增长且都是你预期内的页面，说明机制在正常工作；如果里面混进了你不希望被替代的重要页面，那才需要回头查链接与权威信号。
