为什么用医学专用嵌入
通用句向量模型在医学术语、缩写与同义表述上表现有限。PubMedBERT 是在 PubMed 语料上预训练的语言模型,其句向量变体对医学文献的语义相似度判断更准,配合向量数据库可实现“用一句话问题检索相关论文”的语义召回,而非仅匹配关键词。
步骤一:生成文献向量
将每篇文献的标题+摘要编码为向量,使用 sentence-transformers 加载 PubMedBERT 嵌入模型:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('neuml/pubmedbert-base-embeddings')
docs = [
'Title: xxx. Abstract: yyy',
'Title: aaa. Abstract: bbb',
]
emb = model.encode(docs, normalize_embeddings=True)
print(emb.shape) # (n_docs, 768)
步骤二:用 FAISS 建索引并检索
将归一化向量写入 FAISS 索引,查询时做内积(等价于余弦相似度)检索:
import faiss
import numpy as np
index = faiss.IndexFlatIP(768)
index.add(np.asarray(emb, dtype='float32'))
q = model.encode(['糖尿病最新治疗进展'], normalize_embeddings=True)
scores, idx = index.search(np.asarray(q, dtype='float32'), k=5)
for i, s in zip(idx[0], scores[0]):
print(round(float(s), 3), docs[i][:60])
步骤三:接大模型做问答
① 召回:用上述向量检索取 Top-K 相关文献作为上下文;
② 拼装:将文献片段与用户问题组成提示词,交给本地或合规大模型;
③ 溯源:要求模型在回答中标注引用文献,保证可复核;
④ 增量:新文献入库时仅编码新增部分并 add 到索引,避免全量重建。
参考来源
PubMedBERT Embeddings - Hugging Face;FAISS 官方文档 - Meta AI(GitHub);ncbi/MedCPT - Hugging Face。