问题:模型训好了,服务却扛不住产线
许多工厂的视觉质检停留在离线跑通一个模型:用Label Studio标几万张图,YOLOv8一训,mAP看着不错,但一到产线摄像头实时流就露怯——单卡QPS上不去、显存吃紧、请求排队。视觉大模型(VLM)能做更语义化的缺陷描述与少样本识别,却更吃算力。把模型变成稳定、可并发、可观测的服务,才是落地最后一公里。
第一步:用Ultralytics训练缺陷检测模型
先有一个高召回的检测底座。下面用Ultralytics加载预训练YOLOv8,在自有缺陷数据集上微调;数据集按YOLO格式组织,每张图对应一个txt标签:
from ultralytics import YOLO
model = YOLO('yolov8n.pt')
results = model.train(
data='defect.yaml',
epochs=80,
imgsz=640,
batch=32,
name='defect-yolov8n'
)
# 校验集评估
metrics = model.val()
print('mAP50-95:', round(metrics.box.map, 3))检测模型负责框出异常区域,后续若需对缺陷做语义分类或生成说明,再把裁剪图送视觉大模型,形成检测+理解两段式,比直接用VLM逐帧全图推理更省算力。
第二步:用vLLM把视觉大模型变成OpenAI兼容服务
vLLM以PagedAttention实现高吞吐推理,支持VLM(如Qwen2.5-VL)以OpenAI兼容接口对外服务。下面用命令行拉起一个本地服务:
# 启动 vLLM 视觉模型服务(OpenAI 兼容端口)
vllm serve Qwen/Qwen2.5-VL-7B-Instruct \
--host 0.0.0.0 --port 8000 \
--tensor-parallel-size 1 \
--max-model-len 8192 \
--limit-mm-per-prompt image=4
# 客户端以 OpenAI SDK 调用,便于与现有系统对接
from openai import OpenAI
client = OpenAI(base_url='http://localhost:8000/v1', api_key=' EMPTY')
resp = client.chat.completions.create(
model='Qwen/Qwen2.5-VL-7B-Instruct',
messages=[{
'role': 'user',
'content': [
{'type': 'image_url', 'image_url': {'url': 'data:image/jpeg;base64,' + IMG_B64}},
{'type': 'text', 'text': '判断该工件表面是否存在划痕或气孔,并给出置信度。'}
]
}]
)
print(resp.choices[0].message.content)提醒:base_url中的api_key仅用于本地服务占位,生产环境应加网关鉴权;图像以base64或内网对象存储URL传入,避免敏感工艺图出网。
第三步:并发压测与显存优化
上线前用并发请求探明单机上限,再决定副本数与分流策略。几个务实的优化点:开启vLLM的continuous batching(默认即开)以提升吞吐;用--gpu-memory-utilization把显存占用调到0.9左右;对延迟敏感产线可缩短max-model-len;多卡机器用--tensor-parallel-size横向扩展。
import concurrent.futures, time, requests
URL = 'http://localhost:8000/v1/chat/completions'
payload = {
'model': 'Qwen/Qwen2.5-VL-7B-Instruct',
'messages': [{'role': 'user', 'content': '质检:有无缺陷?'}]
}
def call_once(_):
t0 = time.time()
requests.post(URL, json=payload, timeout=30)
return time.time() - t0
with concurrent.futures.ThreadPoolExecutor(max_workers=16) as ex:
lat = list(ex.map(call_once, range(200)))
print('P95延迟(秒):', round(sorted(lat)[int(len(lat)*0.95)], 3))
print('平均QPS:', round(200 / sum(lat), 1))把压测得到的P95延迟与QPS作为SLA基线,配合队列与超时重试,产线摄像头侧就能按超时即转人工的策略兜底,避免模型抖动拖垮整线。
落地边界与建议
① 先以检测模型+YOLO扛住主流量,VLM只处理疑难样本,控制算力成本;
② 服务需部署在厂区边缘服务器,图像与结果数据不出厂;
③ 保留人工复核通道,模型结论作为辅助,最终判定由质检员负责。
说明:本文为工程方法参考,具体吞吐受硬件与模型尺寸影响;命令参数以所选模型与vLLM版本官方文档为准。
参考来源
vLLM 官方文档(模型服务与命令行) - docs.vllm.ai;Ultralytics 官方文档(YOLO 训练与验证) - docs.ultralytics.com;Qwen2.5-VL 模型卡与用法 - Hugging Face(huggingface.co)。