欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 vLLM 部署产线视觉质检大模型:从训练到高吞吐推理服务的可复现实践

上邦 AI 工程团队2026-09-17阅读 约 11 分钟
视觉质检从规则+传统CV走向视觉大模型,难点不在训练而在高吞吐、低延迟的在线服务。本文给出可复现的部署链路:用Ultralytics训练YOLO缺陷检测模型,再用vLLM以OpenAI兼容接口对外提供批量推理服务,并给出并发压测与显存优化的实操要点,适合制造企业将质检模型沉淀为内部API。

问题:模型训好了,服务却扛不住产线

许多工厂的视觉质检停留在离线跑通一个模型:用Label Studio标几万张图,YOLOv8一训,mAP看着不错,但一到产线摄像头实时流就露怯——单卡QPS上不去、显存吃紧、请求排队。视觉大模型(VLM)能做更语义化的缺陷描述与少样本识别,却更吃算力。把模型变成稳定、可并发、可观测的服务,才是落地最后一公里。

第一步:用Ultralytics训练缺陷检测模型

先有一个高召回的检测底座。下面用Ultralytics加载预训练YOLOv8,在自有缺陷数据集上微调;数据集按YOLO格式组织,每张图对应一个txt标签:
from ultralytics import YOLO

model = YOLO('yolov8n.pt')
results = model.train(
    data='defect.yaml',
    epochs=80,
    imgsz=640,
    batch=32,
    name='defect-yolov8n'
)
# 校验集评估
metrics = model.val()
print('mAP50-95:', round(metrics.box.map, 3))
检测模型负责框出异常区域,后续若需对缺陷做语义分类或生成说明,再把裁剪图送视觉大模型,形成检测+理解两段式,比直接用VLM逐帧全图推理更省算力。

第二步:用vLLM把视觉大模型变成OpenAI兼容服务

vLLM以PagedAttention实现高吞吐推理,支持VLM(如Qwen2.5-VL)以OpenAI兼容接口对外服务。下面用命令行拉起一个本地服务:
# 启动 vLLM 视觉模型服务(OpenAI 兼容端口)
vllm serve Qwen/Qwen2.5-VL-7B-Instruct \
    --host 0.0.0.0 --port 8000 \
    --tensor-parallel-size 1 \
    --max-model-len 8192 \
    --limit-mm-per-prompt image=4

# 客户端以 OpenAI SDK 调用,便于与现有系统对接
from openai import OpenAI
client = OpenAI(base_url='http://localhost:8000/v1', api_key=' EMPTY')

resp = client.chat.completions.create(
    model='Qwen/Qwen2.5-VL-7B-Instruct',
    messages=[{
        'role': 'user',
        'content': [
            {'type': 'image_url', 'image_url': {'url': 'data:image/jpeg;base64,' + IMG_B64}},
            {'type': 'text', 'text': '判断该工件表面是否存在划痕或气孔,并给出置信度。'}
        ]
    }]
)
print(resp.choices[0].message.content)
提醒:base_url中的api_key仅用于本地服务占位,生产环境应加网关鉴权;图像以base64或内网对象存储URL传入,避免敏感工艺图出网。

第三步:并发压测与显存优化

上线前用并发请求探明单机上限,再决定副本数与分流策略。几个务实的优化点:开启vLLM的continuous batching(默认即开)以提升吞吐;用--gpu-memory-utilization把显存占用调到0.9左右;对延迟敏感产线可缩短max-model-len;多卡机器用--tensor-parallel-size横向扩展。
import concurrent.futures, time, requests

URL = 'http://localhost:8000/v1/chat/completions'
payload = {
    'model': 'Qwen/Qwen2.5-VL-7B-Instruct',
    'messages': [{'role': 'user', 'content': '质检:有无缺陷?'}]
}

def call_once(_):
    t0 = time.time()
    requests.post(URL, json=payload, timeout=30)
    return time.time() - t0

with concurrent.futures.ThreadPoolExecutor(max_workers=16) as ex:
    lat = list(ex.map(call_once, range(200)))
print('P95延迟(秒):', round(sorted(lat)[int(len(lat)*0.95)], 3))
print('平均QPS:', round(200 / sum(lat), 1))
把压测得到的P95延迟与QPS作为SLA基线,配合队列与超时重试,产线摄像头侧就能按超时即转人工的策略兜底,避免模型抖动拖垮整线。

落地边界与建议

① 先以检测模型+YOLO扛住主流量,VLM只处理疑难样本,控制算力成本;
② 服务需部署在厂区边缘服务器,图像与结果数据不出厂;
③ 保留人工复核通道,模型结论作为辅助,最终判定由质检员负责。
说明:本文为工程方法参考,具体吞吐受硬件与模型尺寸影响;命令参数以所选模型与vLLM版本官方文档为准。

参考来源

vLLM 官方文档(模型服务与命令行) - docs.vllm.ai;Ultralytics 官方文档(YOLO 训练与验证) - docs.ultralytics.com;Qwen2.5-VL 模型卡与用法 - Hugging Face(huggingface.co)。
相关标签:工业AI视觉质检vLLMYOLO模型部署

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案