欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用近红外光谱和 PLS 回归把化工原料质检从 42 分钟压到 95 秒

上邦数据团队2026-10-20阅读 约 9 分钟
气相色谱是化工原料进厂质检的常规手段,但单样检测动辄 40 分钟以上,产线常常在等结果。本文介绍用近红外(NIR)光谱配合偏最小二乘(PLS)回归做快检前置的落地方法:数据怎么采、光谱怎么预处理、PLS 模型怎么建、上线怎么切分快检与抽检,并附 scikit-learn 可运行代码与一家 200 人精细化工企业的脱敏成效数据。
结论先行:化工原料进厂质检长期被气相色谱卡住,一个样品从取样到出报告往往要 40 分钟以上,产线只能等结果或凭经验放行。我们用近红外(NIR)光谱配合偏最小二乘(PLS)回归,在一家 200 人规模的精细化工企业把单样检测压缩到 95 秒左右,质检等待时间下降明显。这套方法不推翻现有实验室体系,而是把快检前置到收货口,把色谱留作抽检与仲裁。下面把数据准备、建模和上线要点拆开讲。

气相色谱为什么成了瓶颈

在精细化工和原料药企业,原料进厂的第一道关是质检。气相色谱(GC)和气相色谱-质谱(GC-MS)是定性与定量最被认可的手段,结果可以作为放行和结算的依据。但它的工作方式是离线、破坏性的:取样后要做前处理(萃取、衍生、过滤),再进样分离,单个样品从制样到出峰积分往往要 30 到 50 分钟,遇上复杂基质还要更久。
问题出在'集中到货'。原料车一到就是一批,往往十几到几十个样同时排队,质检室成了整条投料链的瓶颈,后面的生产只能等。一些企业为了不压产线,只能凭经验先放行、事后补检,这本身又带来质量风险。更麻烦的是,色谱峰的判读依赖老师傅经验,人员一流动,判定标准就漂移。
所以我们想的问题是:能不能把'快'和'准'拆开——大多数到厂批次用一种几十秒就能出结果、且无需试剂的方法先做快检,只对异常和边界样本才动用色谱做精准确认?近红外光谱正好适合干这件事。

近红外加 PLS 的基本思路

近红外光(780 到 2500 纳米)打在样品上,被测的是分子中 C-H、O-H、N-H 这些含氢基团的倍频与合频吸收。虽然单条谱线看不出'这是什么',但整段光谱里其实编码了水分、有效成分、杂质比例等大量组成信息,只是它们以非线性、强相关的形式混在一起。
偏最小二乘回归(PLS)的作用,就是把这种高维、共线严重的光谱矩阵,投影到少数几个'潜变量'上,再建立潜变量和实验室参考值(比如色谱测出的水分百分比、有效成分含量)之间的映射。它不是在解释物理机理,而是在学'光谱形状'和'真实指标'之间的统计关系。
这套组合的好处很直接:近红外采集一次只要几十秒,不需要任何化学试剂,仪器可以放在收货口甚至产线旁;缺点也同样明确——它是一个相关模型,不是绝对测量,必须持续用实验室真值去校准,也替代不了色谱在合规层面的地位。定位要清楚:快检前置加抽检复核。

数据怎么准备

模型的上限由数据决定。第一步是采样要有代表性:要覆盖不同供应商、不同批次、不同季节、甚至不同产地的原料,否则模型只学会了某一家的数据分布,换家供应商就失灵。
第二步是光谱预处理。原始近红外光谱常带有基线漂移、散射噪声和仪器噪声,直接喂给模型会学偏。常用做法是 SNV(标准正态变量变换)消除颗粒度和光程差异带来的散射,再用一阶导或二阶导突出吸收峰、压掉平缓背景,最后做 Savitzky-Golay 平滑去噪。
第三步是把光谱和实验室参考值对齐。参考值必须来自同一份样品的色谱或滴定结果,单位统一,异常值剔除要留记录,不能悄悄删。
① 按供应商和批次分层抽样采集光谱与对应实验室值;
② 统一光谱预处理管线(SNV + 一阶导 + 平滑);
③ 把每个光谱样本和实验室真值按样本 ID 严格对齐;
④ 按供应商分层抽样划分训练集与验证集,避免同一批数据同时出现在两边导致分数虚高。

模型怎么建

下面这段用 scikit-learn 的 PLSRegression 做交叉验证预测,直接看 R2 和平均绝对误差。n_components 不要贪大,太大容易过拟合,常见从 8 到 12 之间用交叉验证选。
import numpy as np
from sklearn.cross_decomposition import PLSRegression
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import r2_score, mean_absolute_error

# X: 近红外光谱矩阵 (n_samples, n_wavelengths),已做 SNV + 一阶导预处理
# y: 实验室参考值(如水分%、有效成分含量),单位已统一
pls = PLSRegression(n_components=10, scale=True)
y_pred = cross_val_predict(pls, X, y, cv=5)
print('R2:', round(r2_score(y, y_pred), 3))
print('MAE:', round(mean_absolute_error(y, y_pred), 4))
验证时不能只看整体 R2。要把验证集的预测值和真实值画成散点,看是不是在高低两端都塌了;还要按供应商分组看误差,避免某一家特别准、另一家特别差被平均掩盖。模型真正上线前,建议保留一批'盲样'做月度复测。

上线怎么落

工程上最稳的切法是'两道闸'。第一道在收货口:原料到厂先扫近红外,95 秒出快检结果,指标在控制限内的直接放行或进入待检缓存,明显超差的当场拦下。第二道是色谱抽检:模型给出'不确定'或处于边界的样本,自动转去实验室做色谱确认,结果回灌更新模型。
模型要设'版本'和'生效日期'。每隔一段时间用新积累的色谱真值滚动重训,但旧版本不能删,要能回看'当时用的哪版模型、依据是什么'。权限上,快检结果只给质检和采购看,原始光谱留痕备查。这部分和我们做私有化系统升级的思路一致:数据不出厂、操作可审计。更完整的产线侧落地可以参考制造业 AI 解决方案。

那家企业的实际变化(脱敏)

这是一家约 200 人的精细化工企业,原料到厂集中在上午,原来每样色谱约 42 分钟,质检室排队 2 到 3 小时,投料常被迫等结果。上线近红外加 PLS 快检后,单样检测压缩到约 95 秒,到厂批次里约八成走快检直接放行或缓存,只有约一成多转色谱抽检;质检人力从三班轮值降到一人值守,投料等待基本消除。
折算下来,按人工与等待成本估算,整套投入的回收期约 14 个月。需要说明:这些是脱敏后的区间值,不同原料结构和到货节奏差异很大,不能当作普适承诺;我们更想强调的是'快检前置加抽检复核'这套结构,而不是某个具体数字。

适用范围与边界

这套方法适合均质或近均质的原料、且目标指标在光谱上有可学习特征的场景,比如水分、主成分含量、某些杂质趋势。它不适合含量极低、光谱几乎没有特征、或成分剧烈波动的样品;也替代不了色谱在合规和争议仲裁中的位置。
另一个现实边界是维护成本。近红外模型不是一训永逸,原料换供应商、工艺微调、仪器老化都会让误差慢慢爬升,必须有固定的'真值回灌'节奏和告警线。把它当成'需要喂养的系统'而不是'装好就完'的设备,项目才能活得久。

参考来源

近红外光谱分析技术与偏最小二乘回归方法 - 分析化学领域公开教材与综述文献;scikit-learn 官方文档 PLSRegression - scikit-learn 开源项目;企业质检数字化转型实践 - 行业公开案例报道(本文数据已脱敏,仅作方法说明,不构成效果承诺)
相关标签:化工质检近红外光谱PLS回归scikit-learn过程分析

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案