这套方法只在文本存在近重复而非语义改写时有效:几十份同题作业、实训报告、实验记录,模板相同、措辞高度重叠,只是改了几个数字和人名。做法是先把每份文本切成重叠的 shingle 集合,用 MinHash 把集合压成固定长度签名,再用 LSH 把签名分桶,只在同桶内做候选比对,最后用 Jaccard 相似度精确复核。一个熟悉 Python 的工程师半天能搭起可跑的原型,接入学校现有的作业提交系统大约两到三周,主要工作量在文本规范化而非算法本身。最容易踩的坑是把 MinHash 当成语义模型:它测的是词面重叠,两篇用不同措辞讲同一件事它看不出雷同,反过来共用一个模板却内容不同的两份报告它反而会报相似。
为什么精确 Jaccard 在这里跑不动
判断两份文档是否雷同,最朴素的指标是 Jaccard 相似度:两个 shingle 集合的交集大小除以并集大小。问题在于,两两计算 Jaccard 的复杂度是文档数的平方。一个班 60 份作业还好,若放到全校一个学期几千份提交,两两比对就要做上千万次集合运算,人眼更不可能。MinHash 的核心洞察是:如果两个集合的 Jaccard 相似度是 s,那么对它们做同一个随机哈希、各取最小哈希值,两者相等的概率恰好等于 s。于是可以用一组(比如 128 个)哈希函数,每份文档只保留 128 个最小值作为签名,两份文档签名中相同位置的占比,就是 Jaccard 的无偏估计。
有了签名,还要解决候选对爆炸的问题。LSH 的做法是把 128 维签名切成 b 个波段、每个波段 r 行,只有当两份文档在某个波段的 r 个值全部相同时才进入候选。调参的直觉来自一个近似公式:两份文档成为候选的概率约等于 1 减去(1 减去 s 的 r 次方)的 b 次方。取 b 等于 16、r 等于 8,总维度 128,阈值大致落在 0.8 附近——相似度高于 0.8 的几乎必被圈中,远低于它的极少误入。这正是公开资料里 datasketch 示例常用的配置。
先做文本规范化,再谈相似度
近重复检测的效果,八成取决于 shingle 之前的规范化。中文实训报告常见的噪声包括:全角半角混用、段落里夹着页眉页脚和学号、Word 自动编号、公式被拆成一串符号。不先清理,两个只有页眉不同的文档就会因为共享大段模板而被判为高度雷同。规范化的目标不是把文本洗得越干净越好,而是去掉与内容无关的公共部分,同时保留能反映作者措辞的段落。
shingle 粒度也要按文本长度选。公开实践里英文常用词级 5-gram,中文没有天然空格,通常用字符级 5-gram 到 8-gram;文本很短时 shingle 数量不足,签名不稳定,此时 MinHash 并不合适,宜改用 SimHash 或更简单的编辑距离。这是一个常被忽略的适用边界:方法本身没错,用错场景就会得到一堆看似合理、实则无用的告警。
一段可复现的代码
以下代码用 datasketch 实现完整流程。为避免依赖分词工具,示例直接用字符级 shingle;生产环境若接入中文分词,把 shingle 函数替换成词级切片即可。代码读取一个目录下所有 txt 文件,输出相似度超过阈值的候选对。
from datasketch import MinHash, MinHashLSH
import glob, re
NUM_PERM = 128
THRESHOLD = 0.80
SHINGLE_K = 6
def shingles(text, k=SHINGLE_K):
text = re.sub(r'\s+', '', text)
return set(text[i:i+k] for i in range(len(text) - k + 1))
def build_minhash(text):
m = MinHash(num_perm=NUM_PERM)
for sh in shingles(text):
m.update(sh.encode('utf8'))
return m
def scan(paths):
lsh = MinHashLSH(threshold=THRESHOLD, num_perm=NUM_PERM)
docs = {}
for p in paths:
with open(p, encoding='utf8') as f:
text = f.read()
docs[p] = build_minhash(text)
lsh.insert(p, docs[p])
pairs = []
for p in paths:
for q in lsh.query(docs[p]):
if p < q:
score = docs[p].jaccard(docs[q])
if score >= THRESHOLD:
pairs.append((score, p, q))
return sorted(pairs, reverse=True)
if __name__ == '__main__':
for score, a, b in scan(glob.glob('reports/*.txt')):
print(round(score, 3), a, b)
这段代码有两个细节值得留意。其一,lsh.query 会把文档自身也查出来,所以用 p 小于 q 去重;其二,LSH 圈出的只是候选,最终结果必须用 jaccard 方法精确复核,跳过这一步就会把大量误入候选的对当作雷同。公开资料反复强调这一点:LSH 的假阳性要靠复核消除,否则会 silently 删掉本该保留的独立文档。代码里的 < 和 > 是比较运算符在 HTML 中的转义写法。
阈值怎么定,先看误报代价
1. 0.90 以上:几乎可以断定是复制或轻度改写的副本,可直接进入人工确认队列。
2. 0.70 至 0.90:疑似近重复,建议人工比对后再定性,这一段最容易出现共用模板导致的误报。
3. 0.50 至 0.70:相似但通常内容独立,仅作留档,不作为查重依据。
4. 先抽样标定:取 20 对已知结论的文档跑一遍,看阈值落在哪里能同时满足召回和误报要求,再固定参数。
5. 分级处理:把模板段落、参考文献、题目说明从 shingle 中剔除,可显著降低同题作业的基线相似度。
6. 保留原文:每条告警都应能回溯到两份文档的原文片段,便于教师复核,相关文本可沉淀到知识库供后续比对。
2. 0.70 至 0.90:疑似近重复,建议人工比对后再定性,这一段最容易出现共用模板导致的误报。
3. 0.50 至 0.70:相似但通常内容独立,仅作留档,不作为查重依据。
4. 先抽样标定:取 20 对已知结论的文档跑一遍,看阈值落在哪里能同时满足召回和误报要求,再固定参数。
5. 分级处理:把模板段落、参考文献、题目说明从 shingle 中剔除,可显著降低同题作业的基线相似度。
6. 保留原文:每条告警都应能回溯到两份文档的原文片段,便于教师复核,相关文本可沉淀到知识库供后续比对。
一所职业院校的落地记录
某华东职业院校,在校生约 2600 人,某专业课一个学期收上来 8 个班共 380 份实训报告。过去靠教师抽查,两人一组逐份比对,一轮初筛要花两个半天,且只能覆盖明显雷同的少数。上线这套流程后,把历史三个学期的 1100 份报告一并建库,用于跨学期比对,单次全量扫描在几分钟内完成。一学期下来筛出相似度超过 0.85 的 14 组、0.70 至 0.85 的 31 组,教师复核后确认其中 9 组存在实质雷同。这个结果的价值不是抓到了多少人,而是把有限的教师精力从翻文档转向了看证据。
这个案例里有个容易被忽略的经验:把历史作业一并建库,比只看当次提交的收益大得多。跨学期的雷同往往更隐蔽,因为当届学生之间未必互相抄,却可能抄了上一届留存的代码或报告。把这些历史材料作为语料沉淀进企业私有 AI 知识库,既服务查重,也让后续相似题目的检索有了参照。查重只是这套能力的第一个用途,同一套文本指纹还能用于题库去重、试卷近似题筛查。
方法边界与合规提醒
MinHash 不识别语义,同义改写、机器洗稿、整段翻译都可能漏检;反过来,标准答案、公共模板造成的词面重叠会误报。查重结果应作为线索而非结论,不宜直接作为学术不端处理的唯一依据。学生作业属于个人信息,建库与留存应遵循最小必要原则,明确存储期限和访问权限。
参考来源
MinHash - OSS AI Hub 术语条目,介绍 MinHash 签名、LSH 分桶及 Jaccard 相似度估计原理。
datasketch 官方文档 - MinHash 与 MinHashLSH 的阈值、num_perm 参数说明。
MinHash 大规模文本近似去重策略详解 - 极客日志,介绍 shingling、签名计算与 LSH 分桶流程。
datasketch 官方文档 - MinHash 与 MinHashLSH 的阈值、num_perm 参数说明。
MinHash 大规模文本近似去重策略详解 - 极客日志,介绍 shingling、签名计算与 LSH 分桶流程。