欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

几十份实训报告里哪两份雷同,用 MinHash 把比对从人眼换成签名

上邦RAG团队2026-11-20阅读 约 11 分钟
面对一个班里几十份格式相近的实训报告或课程作业,人工两两比对几乎不可行。本文给出一套可复现的近重复检测流程:用字符或词级 shingle 建集合、用 MinHash 生成签名、用 LSH 分桶圈出候选对、再用 Jaccard 精确复核。附 datasketch 可运行代码、阈值调参经验,以及一所职业院校把初筛从半天压到分钟级的落地记录。
这套方法只在文本存在近重复而非语义改写时有效:几十份同题作业、实训报告、实验记录,模板相同、措辞高度重叠,只是改了几个数字和人名。做法是先把每份文本切成重叠的 shingle 集合,用 MinHash 把集合压成固定长度签名,再用 LSH 把签名分桶,只在同桶内做候选比对,最后用 Jaccard 相似度精确复核。一个熟悉 Python 的工程师半天能搭起可跑的原型,接入学校现有的作业提交系统大约两到三周,主要工作量在文本规范化而非算法本身。最容易踩的坑是把 MinHash 当成语义模型:它测的是词面重叠,两篇用不同措辞讲同一件事它看不出雷同,反过来共用一个模板却内容不同的两份报告它反而会报相似。

为什么精确 Jaccard 在这里跑不动

判断两份文档是否雷同,最朴素的指标是 Jaccard 相似度:两个 shingle 集合的交集大小除以并集大小。问题在于,两两计算 Jaccard 的复杂度是文档数的平方。一个班 60 份作业还好,若放到全校一个学期几千份提交,两两比对就要做上千万次集合运算,人眼更不可能。MinHash 的核心洞察是:如果两个集合的 Jaccard 相似度是 s,那么对它们做同一个随机哈希、各取最小哈希值,两者相等的概率恰好等于 s。于是可以用一组(比如 128 个)哈希函数,每份文档只保留 128 个最小值作为签名,两份文档签名中相同位置的占比,就是 Jaccard 的无偏估计。
有了签名,还要解决候选对爆炸的问题。LSH 的做法是把 128 维签名切成 b 个波段、每个波段 r 行,只有当两份文档在某个波段的 r 个值全部相同时才进入候选。调参的直觉来自一个近似公式:两份文档成为候选的概率约等于 1 减去(1 减去 s 的 r 次方)的 b 次方。取 b 等于 16、r 等于 8,总维度 128,阈值大致落在 0.8 附近——相似度高于 0.8 的几乎必被圈中,远低于它的极少误入。这正是公开资料里 datasketch 示例常用的配置。

先做文本规范化,再谈相似度

近重复检测的效果,八成取决于 shingle 之前的规范化。中文实训报告常见的噪声包括:全角半角混用、段落里夹着页眉页脚和学号、Word 自动编号、公式被拆成一串符号。不先清理,两个只有页眉不同的文档就会因为共享大段模板而被判为高度雷同。规范化的目标不是把文本洗得越干净越好,而是去掉与内容无关的公共部分,同时保留能反映作者措辞的段落。
shingle 粒度也要按文本长度选。公开实践里英文常用词级 5-gram,中文没有天然空格,通常用字符级 5-gram 到 8-gram;文本很短时 shingle 数量不足,签名不稳定,此时 MinHash 并不合适,宜改用 SimHash 或更简单的编辑距离。这是一个常被忽略的适用边界:方法本身没错,用错场景就会得到一堆看似合理、实则无用的告警。

一段可复现的代码

以下代码用 datasketch 实现完整流程。为避免依赖分词工具,示例直接用字符级 shingle;生产环境若接入中文分词,把 shingle 函数替换成词级切片即可。代码读取一个目录下所有 txt 文件,输出相似度超过阈值的候选对。
from datasketch import MinHash, MinHashLSH
import glob, re

NUM_PERM = 128
THRESHOLD = 0.80
SHINGLE_K = 6

def shingles(text, k=SHINGLE_K):
    text = re.sub(r'\s+', '', text)
    return set(text[i:i+k] for i in range(len(text) - k + 1))

def build_minhash(text):
    m = MinHash(num_perm=NUM_PERM)
    for sh in shingles(text):
        m.update(sh.encode('utf8'))
    return m

def scan(paths):
    lsh = MinHashLSH(threshold=THRESHOLD, num_perm=NUM_PERM)
    docs = {}
    for p in paths:
        with open(p, encoding='utf8') as f:
            text = f.read()
        docs[p] = build_minhash(text)
        lsh.insert(p, docs[p])
    pairs = []
    for p in paths:
        for q in lsh.query(docs[p]):
            if p < q:
                score = docs[p].jaccard(docs[q])
                if score >= THRESHOLD:
                    pairs.append((score, p, q))
    return sorted(pairs, reverse=True)

if __name__ == '__main__':
    for score, a, b in scan(glob.glob('reports/*.txt')):
        print(round(score, 3), a, b)
这段代码有两个细节值得留意。其一,lsh.query 会把文档自身也查出来,所以用 p 小于 q 去重;其二,LSH 圈出的只是候选,最终结果必须用 jaccard 方法精确复核,跳过这一步就会把大量误入候选的对当作雷同。公开资料反复强调这一点:LSH 的假阳性要靠复核消除,否则会 silently 删掉本该保留的独立文档。代码里的 < 和 > 是比较运算符在 HTML 中的转义写法。

阈值怎么定,先看误报代价

1. 0.90 以上:几乎可以断定是复制或轻度改写的副本,可直接进入人工确认队列。
2. 0.70 至 0.90:疑似近重复,建议人工比对后再定性,这一段最容易出现共用模板导致的误报。
3. 0.50 至 0.70:相似但通常内容独立,仅作留档,不作为查重依据。
4. 先抽样标定:取 20 对已知结论的文档跑一遍,看阈值落在哪里能同时满足召回和误报要求,再固定参数。
5. 分级处理:把模板段落、参考文献、题目说明从 shingle 中剔除,可显著降低同题作业的基线相似度。
6. 保留原文:每条告警都应能回溯到两份文档的原文片段,便于教师复核,相关文本可沉淀到知识库供后续比对。

一所职业院校的落地记录

某华东职业院校,在校生约 2600 人,某专业课一个学期收上来 8 个班共 380 份实训报告。过去靠教师抽查,两人一组逐份比对,一轮初筛要花两个半天,且只能覆盖明显雷同的少数。上线这套流程后,把历史三个学期的 1100 份报告一并建库,用于跨学期比对,单次全量扫描在几分钟内完成。一学期下来筛出相似度超过 0.85 的 14 组、0.70 至 0.85 的 31 组,教师复核后确认其中 9 组存在实质雷同。这个结果的价值不是抓到了多少人,而是把有限的教师精力从翻文档转向了看证据。
这个案例里有个容易被忽略的经验:把历史作业一并建库,比只看当次提交的收益大得多。跨学期的雷同往往更隐蔽,因为当届学生之间未必互相抄,却可能抄了上一届留存的代码或报告。把这些历史材料作为语料沉淀进企业私有 AI 知识库,既服务查重,也让后续相似题目的检索有了参照。查重只是这套能力的第一个用途,同一套文本指纹还能用于题库去重、试卷近似题筛查。

方法边界与合规提醒

MinHash 不识别语义,同义改写、机器洗稿、整段翻译都可能漏检;反过来,标准答案、公共模板造成的词面重叠会误报。查重结果应作为线索而非结论,不宜直接作为学术不端处理的唯一依据。学生作业属于个人信息,建库与留存应遵循最小必要原则,明确存储期限和访问权限。

参考来源

MinHash - OSS AI Hub 术语条目,介绍 MinHash 签名、LSH 分桶及 Jaccard 相似度估计原理。
datasketch 官方文档 - MinHash 与 MinHashLSH 的阈值、num_perm 参数说明。
MinHash 大规模文本近似去重策略详解 - 极客日志,介绍 shingling、签名计算与 LSH 分桶流程。
相关标签:MinHashLSH作业查重文本去重datasketch

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案