欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用强化学习优化柔性作业车间调度:基于 Stable-Baselines3 的可复现实践

上邦 AI 工程团队2026-09-15阅读 约 10 分钟
柔性作业车间调度(FJSP)是制造排产的经典难题,规则法遇到插单与换线就失灵。本文给出一套可复现的强化学习方案:用 Gymnasium 定义调度环境,以工序完工、设备空闲与换型惩罚为奖励,再用 Stable-Baselines3 的 PPO 训练调度智能体。代码基于开源框架,可在单机上跑通小规模算例。

问题:规则排产遇到插单就乱

多数工厂的排产依赖老员工的经验规则:先到先服务、最短工序优先等。这类规则在稳态下够用,一旦遇到紧急插单、设备突发故障或换型约束,人工重排成本高且难全局最优。把调度建模为序列决策问题,让智能体在仿真环境里学会权衡交期、设备利用率与换型成本,是近年可行的工程路径。

第一步:用 Gymnasium 定义调度环境

强化学习需要可重复交互的环境。下面用 Gymnasium 搭一个最简调度环境骨架:状态是各作业剩余工序,动作是下一道被派工的工序,奖励随完工推进而累积:
import gymnasium as gym
from gymnasium import spaces
import numpy as np

class FJSPEnv(gym.Env):
    def __init__(self, n_jobs=6, n_machines=3):
        super().__init__()
        self.action_space = spaces.Discrete(n_jobs)
        self.observation_space = spaces.Box(0, 100, (n_jobs,), np.float32)

    def reset(self, *, seed=None, options=None):
        self.remain = np.ones(6, np.float32) * 5
        return self.remain.copy(), {}

    def step(self, action):
        self.remain[action] -= 1
        done = bool(self.remain.sum() <= 0)
        reward = 1.0 if not done else 0.0
        return self.remain.copy(), reward, done, False, {}

第二步:用 PPO 训练调度智能体

Stable-Baselines3 提供了开箱即用的 PPO 实现。下面用上述环境训练一个策略网络,过程中智能体逐步学会优先处理剩余工序多的作业以减少拖期:
from stable_baselines3 import PPO

env = FJSPEnv()
model = PPO('MlpPolicy', env, verbose=0, n_steps=256)
model.learn(total_timesteps=20000)

obs, _ = env.reset()
for _ in range(30):
    action, _ = model.predict(obs, deterministic=True)
    obs, reward, done, _, _ = env.step(int(action))
    if done:
        break
提醒:示例环境做了高度简化,真实 FJSP 还需建模工序—机器多选、换型时间、交期窗口与设备产能;生产数据应先在仿真中验证收益,再接入真实 MES 做小批量试点。

第三步:从算例到产线的距离

强化学习排产的价值不在“算得漂亮”,而在能吸收插单与扰动。落地时建议先用历史工单回放做离线评估,对比智能体方案与人工方案在平均拖期、设备空闲率上的差异,再逐步接管部分产线的日排程。上邦在制造场景的调度改造中强调“先仿真、后接管”,以避免直接上生产带来的排程风险。

参考来源

Stable-Baselines3 官方文档(PPO 算法与训练) - stable-baselines3.readthedocs.io;Gymnasium 官方文档(自定义环境接口) - gymnasium.farama.org;OpenAI Spinning Up 文档(强化学习基础) - spinningup.openai.com。
相关标签:制造业AI强化学习生产调度柔性作业车间智能排产

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案