一、为什么纯文档知识库覆盖不了仓储现场
多数仓储团队建知识库时,第一反应是把 SOP、作业指导书和制度文件导入检索系统。这条路对成文知识有效,但对仓储现场真正高频的知识形态覆盖不足:班前会上主管口头布置的当日注意事项、异常处置后复盘时的口头结论、老员工在货架旁边演示边讲解的操作要点,这些内容从未被写成文档,却恰恰是新员工最需要、人员流失后最难恢复的部分。语音与影像是现场知识的主要载体,把它们排除在知识库之外,等于只治理了冰面之上的部分。
本文给出一套可复现的多模态入库方案,全部使用本地开源工具完成,不依赖任何公网 API,转写与检索均在企业内网完成。
二、第一步:盘点三类多模态知识资产
动手之前先盘点。仓储场景的多模态资产通常分三类,治理优先级也不同:
第一类是周期性录音:班前会、交接班录音,特点是每天产生、话题重复率高,适合批量转写后按议题沉淀,价值密度中等但量大面广。
第二类是事件性影像:叉车事故、错拣复盘、设备故障处置的现场视频与照片,特点是低频高价值,一条处置视频可能避免一次重复事故,应优先入库。
第三类是口述经验:老员工对特殊货架、非标物料操作要点的讲解录音,特点是随人员流动面临清零风险,建议在员工在职期间主动录制。
三、第二步:录音转写与文本清洗
录音转写推荐本地部署 Whisper,small 档模型对中文现场口语的识别已经够用,且完全离线运行。安装与基础转写代码如下:
pip install -U openai-whisper
# 前提:系统已安装 ffmpeg
import whisper
model = whisper.load_model('small')
result = model.transcribe('audio/20261013-banqian-a.wav', language='zh')
for seg in result['segments']:
print(round(seg['start'], 1), seg['text'])
原始转写文本不能直接入库,需要两步清洗。第一步是按议题分段:一段三十分钟的班前会录音往往同时包含当日到货、设备状态、人员安排等多个议题,应按话题切成独立片段,每段只讲一件事,检索时才不会把无关内容一起召回。第二步是术语校正:语音模型对仓库名词的识别错误是规律性的,用词典统一替换即可:
fixes = {'出入酷': '出入库', '残次品库': '残次品区', '高位车': '高位拣货车'}
text = result['text']
for wrong, right in fixes.items():
text = text.replace(wrong, right)
术语词典建议从试转写的三五条录音里人工挑错生成,之后随运营持续补充;现场口音重的仓库,可在录音设备与人员相对固定后再提升模型规格,不必一步到位。
四、第三步:现场影像的抽帧与说明
视频无法直接进向量库,常用做法是抽帧加说明:用 ffmpeg 按固定间隔抽取关键帧,再为每组关键帧写一段结构化说明文字,写清发生了什么、如何处置、有哪些注意事项,说明文字连同帧文件路径一起入库。抽帧命令如下:
ffmpeg -i video/forklift_event_1012.mp4 -vf fps=1/5 frames/f_%04d.jpg
说明文字不必追求完整,三五行写清现象、原因、处置动作即可;照片则直接以拍摄时的班组与物料为线索写说明。若撰写人力不足,可先用本地大模型辅助生成草稿,再由当事班组长确认修订,人工确认环节不能省,否则错误说明入库后危害比没有说明更大。
五、第四步:统一元数据入库
多模态片段入库后能否被准确召回,取决于元数据设计。仓储场景建议至少保留五个字段:仓库或库区、班组、日期、内容类型(班前会、异常复盘、口述经验)、岗位角色。以 Chroma 为例:
import chromadb
client = chromadb.PersistentClient(path='./wh_kb')
col = client.get_or_create_collection('warehouse_field')
col.add(
ids=['sp-20261013-a-03'],
documents=['今天夜班高位拣货注意三层限速,新到的托盘先入 B12 库位'],
metadatas=[{'site': 'WH01', 'team': '夜班A组',
'date': '2026-10-13', 'type': '班前会',
'role': '主管'}]
)
res = col.query(
query_texts=['高位拣货 限速'],
where={'$and': [{'site': 'WH01'}, {'type': '班前会'}]},
n_results=5
)
影像片段入库时,metadatas 里额外记录一个 media_ref 字段指向帧文件目录,问答前端命中后可以直接展示现场画面,这比纯文字答案在现场场景的可信度高得多。
六、第五步:验收指标与迭代
多模态知识库容易建、更容易松散,建议用三个指标做月度验收:一是零结果率,现场提问在库中查不到任何片段的比例,持续走低说明覆盖在改善;二是转写抽检错误率,每月随机抽十条转写稿与人工核对,重点关注库区编号、物料码等术语;三是现场命中率,异常处置类提问命中相关事件片段的比例。三个指标连续两个月恶化,通常说明入库节奏跟不上现场变化,应优先补事件性影像而非周期性录音。
最后提醒两点合规边界:录音录像涉及员工个人信息,采集前应向当事人明示并取得同意,并写入班组管理规范;转写文本与影像一律存储在企业内网,不要为了省算力把现场视频上传到公网服务处理。
以上方案的所有组件,包括 Whisper、ffmpeg、Chroma,均为开源且可私有化部署。如果团队希望把语音、影像与既有文档体系整合成一个完整的仓储知识库,并配上权限分级与统一检索入口,可以参考上邦的私有 AI 知识库方案(https://aiwork.shangbon.com/ai-rag.html),其中包含了面向现场场景的入库流程设计。
参考来源
Whisper: Robust Speech Recognition via Large-Scale Weak Supervision - OpenAI GitHub 开源仓库;Introducing Whisper - OpenAI 官方博客;Chroma 官方文档 - docs.trychroma.com。