欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

零售动态定价的强化学习骨架:用 Gymnasium 自定义定价环境训练 PPO

上邦 AI 工程团队2026-09-19阅读 约 8 分钟
动态定价把价格、需求、利润建模为马尔可夫决策过程,适合用强化学习求解。本文用 Gymnasium 自定义定价环境、Stable-Baselines3 训练 PPO 智能体,给出从环境定义、模型训练到上线约束的完整骨架代码,并提示价格合规边界与人工兜底要求。

为什么用强化学习做动态定价

价格影响需求,需求影响库存与利润,三者相互耦合,固定规则难以适应波动。把定价建模为马尔可夫决策过程:状态是库存、销量与竞品价,动作是调价幅度,奖励是利润,智能体在与环境交互中学会兼顾销量与毛利的定价策略。下面用 Gymnasium 与 Stable-Baselines3 给出可运行骨架。

步骤一:用 Gymnasium 定义定价环境

import gymnasium as gym
from gymnasium import spaces
import numpy as np

class PricingEnv(gym.Env):
    def __init__(self):
        self.action_space = spaces.Discrete(21)        # 调价档位: -10% 到 +10%
        self.observation_space = spaces.Box(           # 状态: 库存率, 销量, 竞品相对价
            low=0.0, high=1.0, shape=(3,))
        self.reset()

    def reset(self, *, seed=None, options=None):
        self.state = np.array([0.8, 0.5, 0.5], dtype=np.float32)
        return self.state, {}

    def step(self, action):
        delta = (action - 10) * 0.01                    # 转化为 -0.1 到 0.1
        price = 1.0 + delta
        demand = max(0.0, 0.6 - 0.8 * delta)           # 简化需求曲线
        reward = price * demand
        self.state = np.clip(self.state + [0.0, demand * 0.1, 0.0], 0, 1)
        return self.state, float(reward), False, False, {}

步骤二:用 Stable-Baselines3 训练 PPO

from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
from stable_baselines3.common.evaluation import evaluate_policy

env = make_vec_env(PricingEnv, n_envs=4)
model = PPO('MlpPolicy', env, verbose=1)
model.learn(total_timesteps=100_000)
model.save('pricing_ppo')

# 评估
mean_reward, _ = evaluate_policy(model, env, n_eval_episodes=20)
print('平均利润奖励:', round(mean_reward, 3))

步骤三:评估与上线约束

上线前用历史数据回测,对比强化学习策略与人工或规则策略的利润与销量;并约束最低毛利率、合规价格区间与价格保护规则,避免模型在探索期给出损害用户体验的极端价。建议先在单一品类小流量灰度,再逐步放量。
提醒:动态定价须遵守价格法、反垄断与平台规则,严禁利用大数据对消费者实施差异化歧视定价;价格调整应设置可解释边界与人工兜底开关。

参考来源

Gymnasium 官方文档 - 自定义强化学习环境指南。 Stable-Baselines3 官方文档 - PPO 算法与训练流程。 Dynamic Pricing with Reinforcement Learning(GitHub 开源示例)- 基于 Gymnasium 与 Stable-Baselines3 的零售定价实现。
相关标签:零售AI动态定价强化学习GymnasiumPPO

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案