基于混合双层模型融合的生产过程质量预测方法

1.本发明涉及生产过程质量预测技术领域，具体涉及一种基于混合双层模型融合的生产过程质量预测方法。


背景技术：

2.由于生产过程复杂、生产数据变量个数繁多，大多数基于数据驱动方法的复杂生产过程产品质量预测模型存在对生产数据利用方面不够充分的问题，部分研究所建模型的合理性也有待提升。在进行质量预测的过程中，模型输入和输出之间的相关性较低，从而导致在实际应用时，预测模型的可行性以及预测准确性存在一定的缺陷。
3.因此，急需一种能够快速准确的、预测精度高的产品质量预测方法，具有重要的理论研究意义与实际运用意义。


技术实现要素：

4.本发明提出了基于混合双层模型融合的生产过程质量预测方法，以解决单模型预测不准确和稳定性较差的技术问题。
5.为解决上述技术问题，本发明提供了一种基于混合双层模型融合的生产过程质量预测方法，其特殊之处在于，包括以下步骤：步骤s1：收集实时生产数据，并划分为训练集和测试集；步骤s2：构建整体式预测模型和分段式预测模型；所述整体式预测模型通过对生产全过程进行特征选择，并通过深度学习算法进行第一产品质量的预测；所述分段式预测模型将生产过程分为n个阶段，通过随机森林算法预测每个阶段的产品质量，并进行整合得到最终的第二产品质量的预测；步骤s3：将所述整体式预测模型和分段式预测模型作为stacking融合模型的基学习器，并通过所述训练集和测试集进行5折交叉验证，以对所述stacking融合模型进行训练；步骤s4：将待预测的生产数据输入训练好的stacking融合模型，得到最终产品质量。
6.优选地，步骤s1中，所述实时生产数据采用拉依达原则进行清洗，删除重复信息，剔除数据异常值，进行数据归一化，以保证数据一致性。
7.优选地，所述整体式预测模型采用粒子群算法pso和长短期记忆网络lstm进行预测。
8.优选地，所述整体式预测模型作为stacking融合模型的基学习器的训练过程包括以下步骤：步骤s11：初始化pso参数和待优化参数范围，随机生成一组待优化参数作为粒子的初始位置，得到初始化参数下的lstm预测模型；
步骤s12：将训练集输入到初始化参数下的lstm模型中，得到对其的预测值，选择以均方根误差作为适应度函数计算出每个粒子的适应度值；步骤s13：根据初始粒子的适应度值确定初始局部最优位置和全局最优位置，更新lstm预测模型的参数；步骤s14：将训练集输入更新参数后的lstm预测模型中，计算出预测值的适应度值，重复步骤s13和步骤s14进行迭代得到lstm的最优参数组合。
9.优选地，所述适应度函数的表达式为：；式中，n表示样本数量，yi和分别表示预测值和真实值。
10.优选地，步骤s13中更新lstm预测模型的参数的表达式为：；；式中，ω表示惯性权重，c1和c2分别表示粒子的个体学习因子和群体学习因子，r1和r2表示0到1之间的随机数，t表示迭代次数，x
ij
、v
ij
、p
ij
和p
hj
分别表示第i个粒子个体在第j个维度上的位置向量、速度向量、局部最优解和全局最优解。
11.优选地，对所述惯性权重ω进行非线性变化，表达式为：；；；式中，ω
max
和ω
min
表示最大惯性权重和最小惯性权重，t
max
表示最大迭代次数，t＇表示当前迭代次数，c
max
和c
min
表示学习因子的最大值和最小值。
12.优选地，所述分段式预测模型作为stacking融合模型的基学习器的训练过程包括以下步骤：将生产过程分为n个阶段，对每个阶段进行特征选择；将第i个阶段的预测结果作为第i+1阶段的输入以进行第i+1阶段的预测；重复上述步骤直到得到最终的预测结果。
13.优选地，所述分段式预测模型作为stacking融合模型的基学习器的训练过程还包括误差修正方法：计算预测值与历史数据均值之间的差值，并通过以下规则对每个阶段的预测值进行修正，当误差在区间或内时为低误差，当误差在区间或内时为中误差，e
mini
表示合格最低误差，e
maxi
表示合格最高误差，φ和γ表示设定的分界阈值：1）当ei和e
i+1
为同一误差类别且误差方向也相同时，当为低误差类别时，无需修正；为中误差类别时，将e
i+1
修正为同方向低误差类别的重点；2）当ei和e
i+1
为同一误差类别但误差方向不同时，当为低误差类别时，无需修正；
为中误差类别时，将e
i+1
修正为反方向等幅大小；3）当ei和e
i+1
为不同误差类别但误差方向相同时，当e
i+1
相较于ei误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至同方向低误差类别的中点；4）当ei和e
i+1
为不同误差类别且误差方向也不相同时，当e
i+1
相较于ei误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至反方向等幅大小；5）当超出给定误差范围时，则采用最短欧式距离的历史数据对预测值进行替换；式中，ei表示第i个阶段的误差，e
i+1
表示第i+1阶段的误差。
14.优选地，所述stacking融合模型采用笛卡尔乘积变化以组合得到维数更多差异性更强的次级数据集，表达式为：；；式中，d和f表示基学习器的输出结果，s表示多项式特征处理后的结果，表示为逐点乘。
15.本发明的有益效果至少包括：本发明针对复杂生产过程的特点，分别对生产过程建立整体式质量预测模型与分段式质量预测模型，并通过不同的特征进行训练，最后通过模型融合的方式采取多模型并存形式对产品质量进行预测，发挥多个角度建模预测的优势，弥补各模型不足，得到一个更加稳定和准确的预测模型；在保证高识别率的前提下，使模型具有很高的灵敏度，大幅减少漏检率，提高产品合格率；作为附加技术特征，提出了一种误差修正机制提高了双模型的预测准确性。
附图说明
16.图1为本发明实施例的方法流程示意图；图2为本发明实施例的分段式预测模型的随机森林算法的特征变量选择示意图。
具体实施方式
17.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
18.如图1所示，本发明实施例提供了一种基于混合双层模型融合的生产过程质量预测方法，包括以下步骤：步骤s1：收集实时生产数据，并划分为训练集和测试集。
19.由于生产环境不稳定、操作工失误、传感器误差等因素，可能导致原始生产数据中包含一定的缺失值、重复值以及噪音等干扰信息，这些干扰信息会对数据挖掘产生不利的影响，本发明实施例中采用拉依达原则进行清洗，删除重复信息，剔除数据异常值，进行数据归一化，以保证数据一致性。
20.并利用基于互信息的特征选择方法对归一化处理过后的数据集进行特征选择处理，从原始数据集中直接选出与成品质量强相关、低冗余的特征数据集，本发明实施例中以卷烟厂松散回潮工艺的特征为例，其选择结果如表1所示：表1特征变量相关系数加水流量实际值0.77回潮机出口烟丝含水率0.72蒸汽体积流量0.68回潮机入口称流量0.63加料入口蒸汽质量流量0.62回潮回风温度0.5加料滚筒温度0.47加料车间环境湿度0.35烘丝车间环境湿度0.32烘丝车间环境温度0.27步骤s2：构建整体式预测模型和分段式预测模型。
21.所述整体式预测模型通过对生产全过程进行特征选择，并通过深度学习算法进行第一产品质量的预测；所述分段式预测模型将生产过程分为n个阶段，通过随机森林算法预测每个阶段的产品质量，并进行整合得到最终的第二产品质量的预测。
22.具体地，本发明实施例中整体式预测模型采用粒子群算法pso和长短期记忆网络lstm进行预测，其输入实时生产数据，其训练过程包括以下步骤：步骤s11：初始化pso参数和待优化参数范围，随机生成一组待优化参数作为粒子的初始位置，得到初始化参数下的lstm预测模型；步骤s12：将训练集输入到初始化参数下的lstm模型中，得到对其的预测值，选择以均方根误差作为适应度函数计算出每个粒子的适应度值，计算适应度值的表达式为：；式中，n表示样本数量，yi和分别表示预测值和真实值；步骤s13：根据初始粒子的适应度值确定初始局部最优位置和全局最优位置，更新lstm预测模型的参数；更新lstm预测模型的参数的表达式为：；；式中，ω表示惯性权重，c1和c2分别表示粒子的个体学习因子和群体学习因子，r1和r2表示0到1之间的随机数，t表示迭代次数，x
ij
、v
ij
、p
ij
和p
hj
分别表示第i个粒子个体在第j个维度上的位置向量、速度向量、局部最优解和全局最优解；
步骤s14：将训练集输入更新参数后的lstm预测模型中，计算出预测值的适应度值，重复步骤s13和步骤s14进行迭代得到lstm的最优参数组合。
23.本发明实施例中，在基础粒子群优化算法pso中，惯性权重ω通常设为一个固定值，由于惯性权重代表保持原来速度和方向的惯性，这将导致算法在迭代全程过程中无法平衡全局搜索与局部搜索的关系，使得在迭代初期全局搜索能力较强，在迭代后期局部搜索能力较强，容易存在陷入局部最优解的风险。因此，对惯性权重ω做非线性变化的改进，使其在迭代开始后逐渐非线性减小，初期使算法具有较强的全局搜索能力，在迭代后期具有较强局部搜索能力。为配合改进后ω的变化，对学习因子c1和c2也做出相应变化，使其在迭代初期c1＞c2，从而使粒子具有更强的全局搜索能力，在迭代后期使c1＜c2，进而使得粒子具有更强的局部搜索能力，表达式为：；；；式中，ω
max
和ω
min
表示最大惯性权重和最小惯性权重，t
max
表示最大迭代次数，t＇表示当前迭代次数，c
max
和c
min
表示学习因子的最大值和最小值。
24.分段式预测模型作为stacking融合模型的基学习器的训练过程包括以下步骤：根据所研究的生产过程特点，以加工工艺的不同将生产过程划分为n个阶段，在各阶段子数据集中对该阶段下在制品质量状态进行特征选择；对所划分的n个阶段分别建立预测在制品质量状态的各个阶段模型，以随机森林算法作为模型的算法基础，其中，当前阶段的模型输入是各阶段在制品特征选择结果集合结合上一阶段在制品质量预测结果所组成。
25.本发明实施例中，如图2所示，为了使决策树具有差异性进而提高模型的预测能力，在进行随机森林算法的决策树构建时，每个决策树均选择一个高相关区间的特征和一个低相关区间的特征进行构建和训练。
26.由于在分段式预测模型的过程具有连续性，上一阶段的预测误差将传递至于下一阶段的预测中，逐渐累积形成较大的误差，因次，仍需对此时的预测结果做出略微调整，使得训练后的预测模型具备较高的准确性，本发明实施例中设定如下的误差纠正机制，对预测误差进行修正，以修正后的结果进入下个阶段模型的预测过程。
27.计算预测值与历史数据均值之间的差值，并通过以下规则对每个阶段的预测值进行修正，当误差在区间或内时为低误差，当误差在区间或内时为中误差，e
mini
表示合格最低误差，e
maxi
表示合格最高误差，φ和γ表示设定的分界阈值，具体地分类如表2所示：表2
28.1）当ei和e
i+1
为同一误差类别且误差方向也相同时，当为低误差类别时，无需修正；为中误差类别时，将e
i+1
修正为同方向低误差类别的重点，式中，ei表示第i个阶段的误差，e
i+1
表示第i+1阶段的误差；2）当ei和e
i+1
为同一误差类别但误差方向不同时，当为低误差类别时，无需修正；为中误差类别时，将e
i+1
修正为反方向等幅大小；3）当ei和e
i+1
为不同误差类别但误差方向相同时，当e
i+1
相较于ei误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至同方向低误差类别的中点；4）当ei和e
i+1
为不同误差类别且误差方向也不相同时，当e
i+1
相较于ei误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至反方向等幅大小；5）当超出给定误差范围时，则采用最短欧式距离的历史数据对预测值进行替换，其目的是从历史生产数据中选取与当前阶段生产情况最相似时所对应的在制品质量状态，替换此时误差过大的预测结果，起到对高误差的修正作用，欧式距离的计算表达式为：；式中，s
ik
为i阶段第k个工艺参数，x
ik
为历史数据库中s
ik
对应的历史数据，pi为在i阶段时的欧氏距离计算结果。
29.步骤s3：将所述整体式预测模型和分段式预测模型作为stacking融合模型的基学习器，并通过所述训练集和测试集进行5折交叉验证，以对所述stacking融合模型进行训练。
30.采用5折交叉验证的方法训练基学习器得到次级数据集，具体地，分别将用于训练基学习器的特征数据集划分为训练集和测试集，并将各训练集随机分为五份数量相同且不重叠的子训练集；在单个基学习器中，以四份子训练集依次作为训练集，另一份作为验证集，以训练完成后的基学习器分别对验证集和测试集进行预测，通过上述的五次不同的预测过程，依次得到一列对训练集每条样本的预测值与对测试集的五个预测值，其中，对五个测试集的预测结果求均值；各基学习器重复以上操作得到与基学习器个数相同的多列训练集与测试集的预测值，将预测结果汇总组成次级数据集。由于stacking融合模型的训练过程为本领域技术人员的常规技术手段，在此不做过多赘述。
31.本发明实施例中对次级数据集做多项式特征处理，通过笛卡尔乘积变化增加一些新的非线性特征，组合得到维数更多差异性更强的次级数据集，表达式为：
；；式中，d和f表示基学习器的输出结果，s表示多项式特征处理后的结果，表示为逐点乘。
32.步骤s4：将待预测的生产数据输入训练好的stacking融合模型，得到最终产品质量。
33.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
34.应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：包括以下步骤：步骤s1：收集实时生产数据，并划分为训练集和测试集；步骤s2：构建整体式预测模型和分段式预测模型；所述整体式预测模型通过对生产全过程进行特征选择，并通过深度学习算法进行第一产品质量的预测；所述分段式预测模型将生产过程分为n个阶段，通过随机森林算法预测每个阶段的产品质量，并进行整合得到最终的第二产品质量的预测；步骤s3：将所述整体式预测模型和分段式预测模型作为stacking融合模型的基学习器，并通过所述训练集和测试集进行5折交叉验证，以对所述stacking融合模型进行训练；步骤s4：将待预测的生产数据输入训练好的stacking融合模型，得到最终产品质量。2.根据权利要求1所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：步骤s1中，所述实时生产数据采用拉依达原则进行清洗，删除重复信息，剔除数据异常值，进行数据归一化，以保证数据一致性。3.根据权利要求1所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述整体式预测模型采用粒子群算法pso和长短期记忆网络lstm进行预测。4.根据权利要求3所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述整体式预测模型作为stacking融合模型的基学习器的训练过程包括以下步骤：步骤s11：初始化pso参数和待优化参数范围，随机生成一组待优化参数作为粒子的初始位置，得到初始化参数下的lstm预测模型；步骤s12：将训练集输入到初始化参数下的lstm模型中，得到对其的预测值，选择以均方根误差作为适应度函数计算出每个粒子的适应度值；步骤s13：根据初始粒子的适应度值确定初始局部最优位置和全局最优位置，更新lstm预测模型的参数；步骤s14：将训练集输入更新参数后的lstm预测模型中，计算出预测值的适应度值，重复步骤s13和步骤s14进行迭代得到lstm的最优参数组合。5.根据权利要求4所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述适应度函数的表达式为：；式中，n表示样本数量，y
i
和分别表示预测值和真实值。6.根据权利要求4所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：步骤s13中更新lstm预测模型的参数的表达式为：；；式中，ω表示惯性权重，c1和c2分别表示粒子的个体学习因子和群体学习因子，r1和r2表示0到1之间的随机数，t表示迭代次数，x
ij
、v
ij
、p
ij
和p
hj
分别表示第i个粒子个体在第j个维
度上的位置向量、速度向量、局部最优解和全局最优解。7.根据权利要求6所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：对所述惯性权重ω进行非线性变化，表达式为：；；；式中，ω
max
和ω
min
表示最大惯性权重和最小惯性权重，t
max
表示最大迭代次数，t＇表示当前迭代次数，c
max
和c
min
表示学习因子的最大值和最小值。8.根据权利要求1所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述分段式预测模型作为stacking融合模型的基学习器的训练过程包括以下步骤：将生产过程分为n个阶段，对每个阶段进行特征选择；将第i个阶段的预测结果作为第i+1阶段的输入以进行第i+1阶段的预测；重复上述步骤直到得到最终的预测结果。9.根据权利要求8所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述分段式预测模型作为stacking融合模型的基学习器的训练过程还包括误差修正方法：计算预测值与历史数据均值之间的差值，并通过以下规则对每个阶段的预测值进行修正，当误差在区间或内时为低误差，当误差在区间或内时为中误差，e
mini
表示合格最低误差，e
maxi
表示合格最高误差，φ和γ表示设定的分界阈值：1）当e
i
和e
i+1
为同一误差类别且误差方向也相同时，当为低误差类别时，无需修正；为中误差类别时，将e
i+1
修正为同方向低误差类别的重点；2）当e
i
和e
i+1
为同一误差类别但误差方向不同时，当为低误差类别时，无需修正；为中误差类别时，将e
i+1
修正为反方向等幅大小；3）当e
i
和e
i+1
为不同误差类别但误差方向相同时，当e
i+1
相较于e
i
误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至同方向低误差类别的中点；4）当e
i
和e
i+1
为不同误差类别且误差方向也不相同时，当e
i+1
相较于e
i
误差类别级别下降时，则无需进行修正；误差类别级别上升时，则将e
i+1
修正至反方向等幅大小；5）当超出给定误差范围时，则采用最短欧式距离的历史数据对预测值进行替换；式中，e
i
表示第i个阶段的误差，e
i+1
表示第i+1阶段的误差。10.根据权利要求1所述的一种基于混合双层模型融合的生产过程质量预测方法，其特征在于：所述stacking融合模型采用笛卡尔乘积变化以组合得到维数更多差异性更强的次级数据集，表达式为：；
；式中，d和f表示基学习器的输出结果，s表示多项式特征处理后的结果，表示为逐点乘。

技术总结
本发明提供了一种基于混合双层模型融合的生产过程质量预测方法，收集实时生产数据，并划分为训练集和测试集；构建整体式预测模型和分段式预测模型；整体式预测模型通过对生产全过程进行特征选择，并通过深度学习算法进行第一产品质量的预测；分段式预测模型将生产过程分为n个阶段，通过随机森林算法预测每个阶段的产品质量，并进行整合得到最终的第二产品质量的预测；将整体式预测模型和分段式预测模型作为Stacking融合模型的基学习器，并通过训练集和测试集进行5折交叉验证，以对Stacking融合模型进行训练；将待预测的生产数据输入训练好的Stacking融合模型，得到最终产品质量。得到最终产品质量。得到最终产品质量。


技术研发人员：向峰 赵雨龙 陶飞 张萌 左颖 邹孝付
受保护的技术使用者：武汉科技大学
技术研发日：2023.08.31
技术公布日：2023/10/6