这件事成立的前提只有一个:偏差与 CAPA 的编号在文件里是稳定的、机器能读到的。具体做法是把偏差调查报告按小节切开,把偏差编号、产品、批号、偏差级别、CAPA 编号、报告状态写成元数据,按编号成链检索,而不是拿全文相似度碰运气。一个百人规模、年偏差两三百份的制剂企业,两个人做四周可以走完近三年的历史报告,之后每份新报告入库不超过十分钟。最容易踩的坑是把整份报告当一个切片:一份三十页的重大偏差调查,前半段写现象、后半段写措施,向量化之后两端互相稀释,问措施时召回的是现象段。
偏差报告为什么天生不适合被检索
偏差调查报告是写给检查员看的叙事文本。行文是时间顺序:几点发现、谁报告的、怎么隔离的、往哪些方向查过、最后得出什么结论。关键判断散落在叙述里,标题只写章节名,不写结论。一份报告真正的判断往往只有两三句,其余都是过程描述。
更麻烦的是同一件事被写了四遍。偏差报告写现象与处理,CAPA 记录写措施、责任人与完成日期,变更控制写需要修订哪些文件,培训记录写哪些人重新培训。四份文件存在不同系统、由不同岗位维护,唯一能把它们串起来的是偏差编号和 CAPA 编号。编号格式一变,或者调查表里 CAPA 编号那一栏经常空着,链就断了。
断链的后果不是查不到,而是每次遇到同类偏差都要重读一批旧报告。质量部门的人其实知道历史上处理过,但说不清是哪一份、哪一年、当时怎么定的。于是重新调查、重新讨论,结论还可能和上次不一致——同一个粘冲问题,两次调查给出两套纠正措施,检查时反而成了新的缺陷项。这类重复劳动不会出现在任何报表里,却是质量部门最稳定的时间消耗。
先把编号做成主键
一、统一编号格式并写进规程。偏差用 DEV-YYYY-NNNN,CAPA 用 CAPA-YYYY-NNNN,年份四位、流水四位,不掺产品代号和部门代号。格式一旦固定,正则就能稳定提取,历史数据才有回填的可能。
二、建立双向索引。偏差台账增加 capa_id 列,CAPA 台账增加 dev_id 列。一个偏差对应多个 CAPA 时用分号分隔,入库时拆成多条关系,不要只存一个字段了事。
三、回填近三年。按年份批量正则提取,提取失败的(手写编号、扫描件、旧模板缺栏)单独列出来人工处理,不要为了追求全量卡在这一步——先把八成干净数据跑起来,剩下的边用边补。
四、状态字段固定为 open、closed、void 三值。void 是作废报告,检索默认排除,否则会召回到已撤销的结论。
五、版本字段。报告修订后版本号加一,旧版本保留但 latest 置为 false,检索默认只取 latest 为 true 的切片。
这五件事看起来是文档管理,实际上决定了后面所有检索能不能用。上邦在做质量体系知识库时把这一步放在最前面,原因很直接:元数据不对,模型再好也只能召回一堆语气相似的段落。
七个字段够用了
见过把元数据做到三十多个字段的表,最后没人维护,一半是空值。字段的价值在于能被稳定填写,而不在于覆盖得全。下面七个字段覆盖了偏差检索的绝大多数量。
dev_id(偏差编号):主键,格式固定,用于反查与去重。
product 与 dosage_form(产品与剂型):最常用的过滤条件。写通用名不写商品名,剂型单独一列,否则片剂与注射液会混在同一个集合里。
dev_class(偏差级别):重大、次要两值,对齐 GMP 第二百四十九条允许的按性质、范围、潜在影响分类的方式。
batch_no(批号):一份偏差常涉及多个批次,用分号分隔,检索时按单批号匹配。批号也是追溯调查的入口,不能省。
section(小节名):切片来自报告哪一节,用来把现象段和措施段分开。这是最容易被省掉、又最影响效果的一个字段。
capa_id(CAPA 编号):允许为空,但空值率必须能统计出来。空值率高说明调查表没填,问题在流程不在系统。
status 与 latest(状态与版本):open、closed、void 加版本标记,检索默认排除作废与旧版。质量场景里,召回一份作废结论比召回不到更糟。
section 之所以关键,是因为质量人员问的问题有明确指向。问「上次粘冲怎么处理的」,答案在措施段;问「当时怎么判断是物料问题」,答案在调查过程段。如果切片不带 section,这两类问题会召回同一批段落,用户还得自己翻。
切片按小节,不按字数
一份重大偏差调查报告通常分报告头、偏差描述、调查过程、根本原因、纠正与预防措施、影响评估、附件清单七节。按固定字数切,最常见的坏结果是根本原因落在某个切片的末尾、措施落在下一个切片的开头,两段都不完整,检索时谁都不像答案。
规则四条就够:一个切片对应一个小节;小节超过八百汉字按句号与分号断句后合并;不足一百二十汉字的并入下一节或直接丢弃(通常是章节过渡句,没有检索价值);表格一律转成 字段=值 的行文本再入库,不做列对齐。
还有一条成本极低的改法:每个切片前面加一行上下文头,写清产品、批号、偏差编号、小节名。切片本身常常缺主语,读者和向量模型都不知道这段在说哪个产品;补上这一行,召回会明显变稳。
解析脚本:按标题层级切、正则提编号
下面这段代码做三件事:按标题样式切小节、用正则提取偏差与 CAPA 编号、缺失编号时留空但不丢记录。依赖 python-docx,报告必须是可复制文本的 docx,扫描件要先过 OCR。
import re, json, docx
from pathlib import Path
DEV = re.compile(r'DEV-(\d{4})-(\d{4})')
CAPA = re.compile(r'CAPA-(\d{4})-(\d{4})')
def sections(path):
d = docx.Document(path)
head, buf, out = '报告头', [], []
for p in d.paragraphs:
t = p.text.strip()
if not t:
continue
if p.style.name.startswith('Heading'):
if buf:
out.append((head, chr(10).join(buf)))
head, buf = t, []
else:
buf.append(t)
if buf:
out.append((head, chr(10).join(buf)))
return out
def flatten(text, limit=800):
parts = [s.strip() for s in re.split(r'(?<=[。;])', text) if s.strip()]
buf, out = '', []
for s in parts:
if len(buf) + len(s) > limit and buf:
out.append(buf)
buf = s
else:
buf += s
if buf:
out.append(buf)
return out
rows = []
for f in Path('reports').glob('*.docx'):
secs = sections(f)
full = chr(10).join(t for _, t in secs)
m1, m2 = DEV.search(full), CAPA.search(full)
if not m1:
print('SKIP no dev id', f.name)
continue
meta = {
'dev_id': m1.group(0),
'capa_id': m2.group(0) if m2 else '',
'product': '',
'dev_class': '重大' if '重大偏差' in full else '次要',
'status': 'closed' if '关闭' in full else 'open',
'latest': True,
}
for head, body in secs:
for seg in flatten(body):
if len(seg) < 120:
continue
ctx = meta['product'] + ' ' + meta['dev_id'] + ' ' + head
row = dict(meta)
row['section'] = head
row['text'] = ctx + chr(10) + seg
rows.append(row)
Path('dev_slices.jsonl').write_text(
chr(10).join(json.dumps(r, ensure_ascii=False) for r in rows),
encoding='utf-8')
print('slices', len(rows))
两个细节值得说明。一是用 chr(10) 拼接而不是反斜杠转义,避免把转义字符写进正文。二是 flatten 先按句号与分号断句再合并,避免把一句话切两半——切半的句子在向量空间里基本是噪声,它会跟任何问题都沾一点边。产品字段这里留空,是因为多数企业报告里产品名写法不统一,交给下一步的归一字典处理,比在解析阶段硬猜更稳。
扫描件要先过 OCR。识别质量差的报告不要硬入库:宁可少一批,也不要把错字连篇的切片混进去,它们会稳定污染召回结果,而且很难事后定位。
入库与查询:过滤条件比模型更影响结果
import chromadb
client = chromadb.PersistentClient(path='./chroma_dev')
col = client.get_or_create_collection(
name='deviation_reports',
metadata={'hnsw:space': 'cosine'},
)
keys = ('dev_id', 'capa_id', 'product', 'dev_class', 'status', 'latest', 'section')
col.upsert(
ids=[r['dev_id'] + '#' + str(i) for i, r in enumerate(rows)],
documents=[r['text'] for r in rows],
metadatas=[{k: r[k] for k in keys} for r in rows],
)
res = col.query(
query_texts=['压片工序出现粘冲,上次是怎么处理的'],
n_results=6,
where={'$and': [
{'product': {'$eq': 'X片'}},
{'latest': {'$eq': True}},
{'dev_class': {'$eq': '重大'}},
]},
)
for meta, dist in zip(res['metadatas'][0], res['distances'][0]):
print(round(dist, 4), meta['dev_id'], meta['capa_id'], meta['section'])
用 upsert 而不是 add,是因为报告会改版;ids 用偏差编号加序号,保证同一份报告重复导入不会产生重复切片。这一步看起来琐碎,但它决定了每周增量更新是十分钟的事还是半天的活。
查询里最容易忽略的是 where。不带过滤的查询会召回其他产品、其他剂型的同类偏差,答案读起来通顺,结论却不能用在当前产品上。质量场景里这种错误比查不到更危险,因为用户不会怀疑一个措辞专业的答案。
元数据过滤是精确匹配。产品名写法不统一时(X片、X 片、X 薄膜衣片),必须先做归一字典,否则过滤会把本该召回的记录挡在外面,表现出来是零结果,而真实原因是字符串不相等。
三个必须验的查询
一、现象到历史处理。输入「粘冲」「装量差异」这类现象词,看能否召回到同类偏差,并且召回的段落落在纠正措施小节,而不是偏差描述小节。
二、编号到全文。给一个 CAPA 编号,看能否一次定位到对应偏差报告与措施段落。这是质量部门最常用的入口,也是检验编号成链是否成功的唯一硬指标。
三、措施到验证状态。给一个措施关键词,看能否查出同类措施的完成情况与有效性评估结论,用来回答「这个措施在别的产品上做过吗、有效吗」。
三项指标跟着一起看:编号命中率(给编号能一次查到)、同类召回率(人工标注三十条应当召回的记录,看实际召回多少)、零结果率(连续两周查询里无结果的比例)。零结果率高于两成,先回头查元数据与切片,不要急着换模型或者调参数——这个阶段的问题九成不在模型。
合规边界:只定位,不代替调查
GMP 第二百四十八条要求企业建立偏差处理的操作规程,覆盖偏差的报告、记录、调查、处理以及所采取的纠正措施;第二百五十条要求任何偏离生产工艺、物料平衡限度、质量标准、检验方法、操作规程的情况都必须记录并立即报告,重大偏差由质量管理部门会同其他部门彻底调查、形成调查报告,并由质量管理部门指定人员审核签字;第二百五十二条要求纠正措施与预防措施系统覆盖投诉、召回、偏差、自检或外部检查结果等来源;第二百五十三条列出 CAPA 规程至少七项内容,包括分析质量数据确定已有和潜在问题、调查原因、确定措施、评估措施的合理性有效性与充分性、记录实施中的变更、传递到质量受权人、经高层评审。第二百四十五条还要求变更实施时确保相关文件均已修订——这一条正好解释了为什么偏差、CAPA、变更三个库必须能互相跳转。
这些条款落到系统上是两个硬约束。第一,回答只能定位到报告与段落,不能生成结论性的处理意见。调查报告必须由人签字,系统给的判断不能进报告正文,这一点要在界面上写明,也要在培训里讲清。第二,每条回答必须带出处:偏差编号、小节名、原文片段。没有出处的回答,质量部门用两次就不会再用第三次。带出处检索在通用问答里是体验问题,在质量体系里是可用性问题。
第三个约束是数据边界。偏差报告里有产品工艺、批量、设备参数与检验数据,属于企业核心工艺信息,不上公网接口是默认选项。私有化部署在这类场景不是加分项,而是前提条件;模型用本地部署的中等规模模型即可,这类任务的难点在切片与元数据,不在模型参数量级。
最后说一句投入产出的实情。这套东西不会让偏差数量下降,它改变的是两件更朴素的事:同类问题不用从头查一遍,新来的质量工程师能在两周内看懂近三年的处理脉络。前者省的是老人时间,后者省的是新人试错。真正决定它有没有用的,不是检索准不准,而是三个月后质量部门还在不在用——这一点只能靠把入口嵌进偏差处理流程来实现,靠一个独立的检索页面是撑不住的。
参考来源
药品生产质量管理规范(2010年修订)偏差处理与纠正措施相关条款(第二百四十五至二百五十四条) - 中国政府网 2011 年第 20 号国务院公报
Chroma 官方文档 Where Filters 与 Collection.query 用法 - docs.trychroma.com
python-docx 官方文档 段落样式与标题识别 - python-docx.readthedocs.io