为什么 OCR 不够:法律文档的结构信息
律所与法务日常面对的合同、判决书、卷宗多为 PDF 扫描件。传统 OCR 能把图像变成文字,却会丢失版面结构:哪一段是付款条款、哪一块是附表、签章区在哪里。对后续要素抽取与条款比对而言,结构比纯文本更关键。文档智能(Document AI)的思路是把文字、图像与空间坐标一起建模。
方案总览:版面检测加多模态理解
本方案分两步。第一步用版面检测模型输出文本块、标题、表格、图章等区域的边界框;第二步用 LayoutLMv3 这类同时编码文本、图像与坐标的多模态模型,对每个区域做分类与关系判定。相比纯文本模型,布局坐标让模型知道这一栏在右上方、与表格相邻,从而正确区分正文与附录。
本地可复现:最小工作流
① 环境准备:安装 transformers、torch 与 PIL,下载 LayoutLMv3 预训练权重(微软开源,Apache-2.0 许可)。
② 版面检测:将 PDF 每页渲染为高分辨率图片,调用检测模型输出区域坐标与类别。
③ 区域裁剪与结构化:对表格区域单独抽取单元格网格,对条款区域保留阅读顺序,输出 JSON。
④ 下游接入:把结构化结果送入合同要素抽取或条款比对流水线,作为前置环节。
关键代码片段如下,展示如何加载模型并对单页图像做推理:
from transformers import LayoutLMv3Processor, LayoutLMv3ForTokenClassification
from PIL import Image
processor = LayoutLMv3Processor.from_pretrained('microsoft/layoutlmv3-base')
model = LayoutLMv3ForTokenClassification.from_pretrained('microsoft/layoutlmv3-base')
image = Image.open('contract_page.png').convert('RGB')
encoding = processor(image, return_tensors='pt')
outputs = model(**encoding)
logits = outputs.logits
print('logits shape:', tuple(logits.shape))该示例仅演示推理入口;真实落地需结合中文法律语料做领域微调,并配套表格结构识别与阅读顺序恢复模块。涉及当事人隐私的卷宗应在本地或私有环境处理,避免经公网 API 出境。
工程价值与边界
版面理解作为合同审查的前置环节,能显著提升后续要素抽取准确率,尤其对含附表、多栏与签章的复杂文档。但它不是终点:真正的条款风险判断仍依赖领域知识库与规则校验。建议把版面理解定位为结构化预处理,与既有 OCR、NER、比对流水线协同,而非替代。
参考来源
LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking - Microsoft Research / arXiv
《生成式人工智能服务管理暂行办法》 - 国家互联网信息办公室等七部门
深圳律师行业发布首份关于AI应用的执业指引 - 深圳市律师协会