基于机理模型与深度强化学习的喷雾干燥过程优化方法

1.本发明属于喷雾干燥产品质量控制技术领域，尤其是涉及一种基于机理模型与深度强化学习的喷雾干燥过程优化方法。


背景技术：

2.喷雾干燥是一种常见的单元操作，用于食品、化学、制药等颗粒产品的制造。这个过程涉及到用热气体把溶液或浆料干燥成干燥的颗粒。热气体通常是大气中的空气，加热到所需的温度。
3.喷雾干燥是在喷雾干燥塔中进行的，在喷雾干燥塔中，料液被雾化成小滴。雾化的液滴与热空气流接触并交换热量、质量和动量。水分离开液滴，形成固体颗粒。适用于热敏性和热稳定性产品的干燥。
4.尽管喷雾干燥塔是一种流行的干燥技术，但其设计和工艺优化在很大程度上依赖于操作员过去的操作经验以及实验室和中试规模工厂的实验数据。这是因为喷雾干燥过程的复杂性，因为它涉及到数十亿大小不一的液滴/颗粒与具有复杂的三维、湍流和漩涡流型的干燥气体之间的热、质量和动量传递。此外，液滴的聚结、颗粒的团聚和破碎、液滴/颗粒在壁面上的沉积以及沉积的物质重新被卷回气流中，使得操作参数的预测更加具有挑战性。
5.在喷雾干燥过程中涉及到广泛的相互依赖的操作变量，可以通过变化来优化过程，这些包括干燥气体的温度和流量、雾化压力、进料温度、进料速度及料液固体浓度。所有这些都影响干粉的特性，包括粉体粒度分布、形态、流动性、水分含量和堆积密度。为了研究这些操作变量对干粉特性的影响，需要进行实验室和中试试验，但这些实验试验是昂贵且耗时的。


技术实现要素：

6.有鉴于此，本发明提出一种基于机理模型与深度强化学习的喷雾干燥过程优化方法，通过建立机理模型，预测出不同工艺组合下的产品质量，根据工艺组合和产品质量组成的数据对，通过深度强化学习建立喷雾干燥工艺决策模型，获得最佳的工艺设置，提高产品质量，具体步骤如下：
7.s1、采集喷雾干燥设备尺寸、进料物性数据、喷雾干燥工艺数据、喷雾干燥产品质量数据，将所述实测数据作为建立喷雾干燥过程优化模型的输入数据所述。喷雾干燥过程优化模型包括机理模型和基于深度强化学习的决策模型，其中设备尺寸、进料物性数据、喷雾干燥工艺数据作为机理模型的输入，喷雾干燥工艺与产品质量数组作为决策模型的输入，所述喷雾干燥工艺与产品质量数组是由喷雾干燥工艺数据和喷雾干燥产品质量数据构成的；
8.s2、建立机理模型，通过计算流体力学获得喷雾干燥设备在不同进料、不同生产工艺下的运行状态，得到喷雾干燥产品含水率和得粉率等数据，形成生产数据库；
9.s3、基于大数据技术建立喷雾干燥产品质量实时预测模型；
10.s4、建立喷雾干燥工艺决策模型，应用深度强化学习算法为工艺决策提供训练环境，喷雾干燥工艺决策模型的训练过程与喷雾干燥产品质量实时预测模型交互，实现喷雾干燥过程的自动优化。
11.进一步的，所述基于机理模型与深度强化学习的喷雾干燥过程优化方法，喷雾干燥设备尺寸包括喷雾干燥塔、传输管道、旋风分离器的尺寸大小信息；进料物性数据包括进料液的浓度、密度、粘度、表面张力、特征成分含量数据；喷雾干燥工艺数据包括进风流量、进风温度、出口空气温度、雾化压力、出口空气压力、喷雾流量、料液温度、喷干粉粒径、喷干粉密度；喷雾干燥产品质量数据包括含水率。
12.更进一步的，建立机理模型，以热空气作为连续相进行计算，料液喷雾作为分散相进行计算，通过相间传热传质过程进行连续相-分散相的耦合作用关系，最终获得设备内部气相温度场、浓度场实时分析云图、颗粒干燥过程、运动轨迹、最终产品质量含水率和得粉率等，利用实测数据验证机理模型。
13.更进一步的，所述基于机理模型与深度强化学习的喷雾干燥过程优化方法，具体步骤如下：
14.(1)设定机理模型每个输入的上下限；
15.(2)根据上下限设置合适的步长，各个模型输入进行组合；
16.(3)将各个输入组合输入到机理模型中进行计算，得到模拟结果；
17.(4)模型的输入条件和模拟结果作为一组数据，保存到生产数据库。
18.更进一步的，利用机理模型计算得到的生产数据库，建立喷雾干燥产品质量实时预测模型，其中机理模型的不同输入组合作为喷雾干燥产品质量实时预测模型的输入，模拟结果作为输出。
19.更进一步的，基于大数据技术建立喷雾干燥产品质量实时预测模型具体为人工神经网络算法，使用数学公式表述为：
20.y＝f(w
t
a+b)
21.所述a代表各个输入分量，w为各个分量对应的权重，b为偏差，f为tanh函数，将变量映射到[-1，1]的区间上，计算公式为：
[0022][0023]
人工神经网络的参数优化方式adam，计算公式为：
[0024]
累计梯度：m
t
＝β1*m
t-1
+(1-β1)*g
t
；
[0025]
累计梯度的平方：v
t
＝β2*v
t-1
+(1-β2)*(g
t
)2；
[0026]
偏差纠正m：
[0027]
偏差纠正v：
[0028]
更新网络参数：
[0029]
所述β1，β2，g
t
，m
t
，v
t
和θ
t
为可学习的网络参数，t为当前时刻，t-1为上一时刻，lr为学习率。
[0030]
更进一步的，深度强化学习算法具体为深度q网络算法，所述q值通过估计每个状态s
t
的奖励总和r来学习，应用深度神经网络来近似最佳作用值函数，优化策略为通过从先前经验获得的q值与从当前状态获得的折扣奖励之间的差异来训练和更新，使用数学公式表述为：
[0031]
l
t
(θ
t
)＝e[(γ+γmaxa′
q(s
t+1
，a
t+1
；θ
t-1
)-q(s，a；θ
t
))2]
[0032]
所述l
t
为损失函数的loss值，θ
t
为所述人工神经网络算法更新的网络参数，s为环境状态，a为模型动作，t为当前时刻，t-1为上一时刻，e为模型经验，γ为奖励折扣因子。
[0033]
更进一步的，喷雾干燥工艺决策模型中每步的状态为工艺条件和对应的产品质量，动作为每步对单个工艺条件进行上调或下调，奖励根据产品质量的变化幅度确定。
[0034]
更进一步的，采用控制变量法选取网络隐含层数，选取隐含层节点数和每次训练时所使用的数据组数，完成对喷雾干燥工艺决策模型的训练。
[0035]
更进一步的，神经网络模型输入层包含5个隐藏层，采用线性修正函数relu作为激活函数；输出层包含6个神经元对应6种不同的动作，采用线性函数(linear)作为激活函数。强化学习的超参数设置如下：学习率设置为0.001，奖励折扣因子设置为0.95，经验池大小为500，每批抽样数设置为64。
[0036]
本发明的有益效果为：
[0037]
本发明通过建立机理模型，预测出不同工艺组合下的产品质量，根据工艺组合和产品质量组成的数据对，通过深度强化学习建立喷雾干燥工艺决策模型，获得最佳的工艺设置，提高产品质量。本发明给出最优的操作方案，并且能够实时可视化喷雾干燥设备内部的物理场状态，可用于实时控制优化。目前喷雾干燥生产线在工业数据的收集与存储方面较为完善，因此本发明有较强的推广能力，为提升喷雾干燥产品的质量提供一种新的方法。
附图说明
[0038]
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0039]
图1为本发明的逻辑框架图；
[0040]
图2为本发明的人工神经网络模型的训练结果；
[0041]
图2(a)为深度q网络的损失函数的训练结果；
[0042]
图2(b)为深度q网络的模型验证效果；
[0043]
图3为本发明的深度强化学习的结果。
具体实施方式
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
下面将参考附图并结合实施例来详细说明本发明。
[0046]
在本发明中，开发了一个机理模型来模拟中试规模的喷雾干燥机中的金银花提取液的干燥过程,逻辑框架如图1所示。分布式光纤测温系统被引入到喷雾干燥过程的温度场测量中。将干燥机中各种高度的温度曲线与实验数据进行比较，验证了机理模型结果的可靠性。
[0047]
将实际的过程数据和模拟数据混合到深度强化学习模型中进行训练。该模拟过程中生成的数据范围为：进气速度(5.25m/s-6.25m/s，精度0.25m/s)；进料速度(1.287l/h-3.861l/h，精度0.858l/h)；进料浓度(固含量10％-25％，精度5％)。从由质量指标及其相应工艺条件组成的实验和数值模拟模型中共获得80条工艺数据。模型的训练和验证需要划分训练集和验证集，划分比例一般为3：2。本研究采用随机抽样的方式将数据划分为50：30，方便模型的训练和验证。取50条数据(粉体收率为50％-68％)训练人工神经网络模型，并根据工艺条件预测质量指标。然后，利用喷雾干燥产品质量实时预测模型作为模拟喷雾干燥机，应用强化学习算法为喷雾干燥工艺决策模型提供训练环境训练强化学习模型需要与环境进行许多交互，但这在实际生产中是不现实的。因此，使用预先建立的喷雾干燥产品质量实时预测模型来模拟实际的喷雾干燥机。喷雾干燥工艺决策模型的训练过程与喷雾干燥产品质量实时预测模型交互，实现快速响应。
[0048]
基于大数据技术建立喷雾干燥产品质量实时预测模型具体为人工神经网络算法，使用数学公式表述为：
[0049]
y＝f(w
t
a+b)
[0050]
所述a代表各个输入分量，w为各个分量对应的权重，b为偏差，f为tanh函数，将变量映射到[-1，1]的区间上，计算公式为：
[0051][0052]
人工神经网络的参数优化方式adam，计算公式为：
[0053]
累计梯度：m
t
＝β1*m
t-1
+(1-β1)*g
t
；
[0054]
累计梯度的平方：v
t
＝β2*v
t-1
+(1-β2)*(g
t
)2；
[0055]
偏差纠正m：
[0056]
偏差纠正v：
[0057]
更新网络参数：
[0058]
所述β1，β2，g
t
，m
t
，v
t
和θ
t
为可学习的网络参数，t为当前时刻，t-1为上一时刻，lr为学习率。
[0059]
ann预测模型由3个全连接层组成，第一层和第三层有20个神经元，第二层使用60个神经元。全部使用tanh激活函数，损失函数设置为均方误差，使用adam优化器，批大小设置为32，学习速率为默认值，迭代次数为4000次。
[0060]
深度强化学习算法具体为深度q网络算法。所述q值通过估计每个状态s
t
的奖励总和r来学习，应用深度神经网络来近似最佳作用值函数，优化策略为通过从先前经验获得的q值与从当前状态获得的折扣奖励之间的差异来训练和更新，如图2所示，使用数学公式表述为：
[0061]
l
t
(θ
t
)＝e[(γ+γmaxa′
q(s
t+1
，a
t+1
；θ
t-1
)-q(s，a；θ
t
))2]
[0062]
所述l
t
为损失函数的loss值，θ
t
为所述人工神经网络算法更新的网络参数，s为环境状态，a为模型动作，t为当前时刻，t-1为上一时刻，e为模型经验，γ为奖励折扣因子。
[0063]
喷雾干燥工艺决策模型中每步的状态为工艺条件和对应的产品质量，动作为每步
对单个工艺条件进行上调或下调，奖励根据产品质量的变化幅度确定。
[0064]
采用控制变量法选取网络隐含层数，选取隐含层节点数和每次训练时所使用的数据组数，完成对喷雾干燥工艺决策模型的训练。
[0065]
dqn算法中神经网络模型的输入层包含5个隐藏层，线性校正函数relu用作激活函数；输出层包含对应于6个不同动作的6个神经元，线性函数用作激活函数。强化学习的超参数设置如下：学习率设置为0.001，奖励折扣因子设置为0.95，经验数据数设置为500，每批样本数设置为64。
[0066]
图2(a)为深度q网络的损失函数的训练结果，损失越小说明预测约准确，图2(b)为深度q网络的模型验证效果，通过输入工艺条件预测产品质量，数据点约靠近直线说明预测值与真实值约接近。模型的预测性能是稳定的，模型的预测值与实际实测值一致。它能够对喷雾干燥生产过程进行模拟。
[0067]
随机选择一个初始状态来启动深度强化学习算法以进行过程优化。工艺优化模型从初始状态开始，逐步调整进气速度、进料速度和进料浓度，最终在满足出口含水率的条件下提高产粉率。图3显示了模型优化结果，优化后，粉体收率从66.09％提高到71.03％。生产过程从s0(进气速度：6.12米/秒，进料速度：3.00l/h，固体含量：20％)变为s6(进气速度：5.87m/s，进料速度：1.29l/h，固体含量：20％)。然后对预测的最佳工艺参数进行实验，最终得出71.92％的得粉率，其中得粉率的计算方法为喷雾干燥塔粉末收集器内干粉的质量除以进行喷雾干燥的中药提取液中的可溶性固形物的含量。由此证明，本发明提出的工艺优化系统对喷雾干燥工艺具有实用性。在生产过程中，新的数据和场景可以不断输入到在线系统中学习过程，从而更好地代表不同过程参数之间的复杂相互关系，用于在线自适应过程控制。
[0068]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，包括以下步骤：s1、采集实测数据，包括喷雾干燥设备尺寸、进料物性数据、喷雾干燥工艺数据、喷雾干燥产品质量数据，将所述实测数据作为建立喷雾干燥过程优化模型的输入数据，所述喷雾干燥过程优化模型包括机理模型和基于深度强化学习的喷雾干燥工艺决策模型，其中喷雾干燥设备尺寸、进料物性数据、喷雾干燥工艺数据作为机理模型的输入，喷雾干燥工艺与产品质量数组作为决策模型的输入，所述喷雾干燥工艺与产品质量数组是由喷雾干燥工艺数据和喷雾干燥产品质量数据构成的；s2、建立机理模型，通过计算流体力学获得喷雾干燥设备在不同进料、不同生产工艺下的运行状态，得到喷雾干燥产品含水率和得粉率的数据，形成生产数据库；s3、基于生产数据库和机理模型建立喷雾干燥产品质量实时预测模型；s4、建立喷雾干燥工艺决策模型，应用深度强化学习算法为工艺决策提供训练环境，喷雾干燥工艺决策模型的训练过程与喷雾干燥产品质量实时预测模型进行交互，实现喷雾干燥过程的自动优化。2.根据权利要求1所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s1中，喷雾干燥设备尺寸包括喷雾干燥塔、传输管道、旋风分离器的尺寸大小信息；进料物性数据包括进料液的浓度、密度、粘度、表面张力、特征成分含量数据；喷雾干燥工艺数据包括进风流量、进风温度、出口空气温度、雾化压力、出口空气压力、喷雾流量、料液温度、喷干粉粒径、喷干粉密度数据；喷雾干燥产品质量数据包括含水率。3.根据权利要求1所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s2中，建立机理模型，以热空气作为连续相进行计算，料液喷雾作为分散相进行计算，通过相间传热传质过程进行连续相-分散相的耦合作用关系，最终获得设备内部气相温度场、浓度场实时分析云图、颗粒干燥过程、运动轨迹、最终喷雾干燥产品含水率和得粉率，利用实测数据验证机理模型。4.根据权利要求3所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s2中，具体步骤如下：(1)设定机理模型每个输入的上下限；(2)根据上下限设置合适的步长，各个输入进行组合；(3)将各个输入组合输入到喷雾干燥机理模型中进行计算，得到模拟结果；(4)机理模型的输入条件和模拟结果作为一组数据，保存到生产数据库。5.根据权利要求1所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s3中，利用机理模型计算得到的生产数据库，建立喷雾干燥产品质量实时预测模型，其中机理模型的不同输入组合作为喷雾干燥产品质量实时预测模型的输入，模拟结果作为输出。6.根据权利要求5所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，所述建立喷雾干燥产品质量实时预测模型具体为人工神经网络算法，使用数学公式表述为：y＝f(w
t
a+b)所述a代表各个输入分量，w为各个分量对应的权重，b为偏差，f为tanh函数，将变量映
射到[-1，1]的区间上，计算公式为：人工神经网络的参数优化方式adam，计算公式为：累计梯度：m
t
＝β1*m
t-1
+(1-β1)*g
t
；累计梯度的平方：v
t
＝β2*v
t-1
+(1-β2)*(g
t
)2；偏差纠正m：偏差纠正v：更新网络参数：所述β1，β2，g
t
，m
t
，v
t
和θ
t
为可学习的网络参数，t为当前时刻，t-1为上一时刻，lr为学习率。7.根据权利要求6所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s4中，深度强化学习算法具体为深度q网络算法，所述q值通过估计每个状态s
t
的奖励总和r来学习，应用深度神经网络来近似最佳作用值函数，优化策略为通过从先前经验获得的q值与从当前状态获得的折扣奖励之间的差异来训练和更新，使用数学公式表述为：l
t
(θ
t
)＝e[(γ+γmax
a
′
q(s
t+1
，a
t+1
；θ
t-1
)-q(s，a；θ
t
))2]所述l
t
为损失函数的loss值，θ
t
为所述人工神经网络算法更新的网络参数，s为环境状态，a为模型动作，t为当前时刻，t-1为上一时刻，e为模型经验，γ为奖励折扣因子。8.根据权利要求7所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s4中，喷雾干燥工艺决策模型中每步的状态为工艺条件和对应的产品质量，动作为每步对单个工艺条件进行上调或下调，奖励根据产品质量的变化幅度确定。9.根据权利要求8所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s4中，采用控制变量法选取网络隐含层数，选取隐含层节点数和每次训练时所使用的数据组数，完成对喷雾干燥工艺决策模型的训练。10.根据权利要求9所述的基于机理模型与深度强化学习的喷雾干燥过程优化方法，其特征在于，在所述步骤s4中，神经网络模型输入层包含5个隐藏层，采用线性修正函数relu作为激活函数；输出层包含6个神经元对应6种不同的动作，采用线性函数linear作为激活函数，所述强化学习的超参数设置如下：学习率设置为0.001，奖励折扣因子设置为0.95，经验池大小为500，每批抽样数设置为64。

技术总结
本发明提出一种基于机理模型与深度强化学习的喷雾干燥过程优化方法，属于喷雾干燥产品质量控制技术领域，所述发明包括：基于机理模型，建立完整描述喷雾干燥设备在不同进料、不同生产工艺下的运行状态，形成生产数据库；基于人工神经网络算法，对当前物料信息和生产工艺进行预测，输出预测产品质量；应用深度强化学习算法为工艺决策提供训练环境，决策模型的训练过程与预测模型交互，实现喷雾干燥过程的自动优化。本发明不仅能够给出最优的操作方案，还可以可视化喷雾干燥设备内部的物理场状态，便于实时控制优化。目前喷雾干燥生产线在工业数据的收集与存储方面较为完善，因此本发明有较强的推广能力，为提升喷雾干燥产品的质量提供新方法。量提供新方法。量提供新方法。


技术研发人员：李正 于洋
受保护的技术使用者：天津中医药大学
技术研发日：2023.05.25
技术公布日：2023/8/16