多重网络中工业组件生产成本动态变化下的调度优化

1.本发明涉及在多重网络中工业组件生产成本动态变化下的组件调度策略。具体来说该组件调度策略为：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。其中，在组件调度时，首先对组件未来生产成本进行预测。根据组件特性以及预测的未来组件生产成本，考虑组件所在网络间的相互影响，决策组件调度的时刻和时间片的大小。可以有效避免处在不同组件所在网络层间的“信息孤岛”问题—组件调度时对于其他组件所在的网络内部运行状态信息未知，调度时只根据自身的状态信息进行调度，孤立的看待各个网络。


背景技术：

2.在工业4.0中，以客户为中心，面临社会化，定制化的生产需求。工业生产往往呈现出复杂化、动态变化的特点。这种复杂、动态变化的特点体现在(1)生产任务的复杂化，在工业4.0中，工厂除了面临大批量生产任务还面临诸多面小批量生产任务；(2)生产成本的动态变化：对于某些产品的生产成本包括电力以及各种原材料。因此在以市场经济为背景的工业生产中，有些产品的生产成本随时间动态变化，有些产品的生产成本相对稳定，例如图2中某工厂对于产品a，b，c的生产中，产品a，c的生产为固定生产数量n的小批量生产，即一日内固定生产n个产品。产品b的生产为不限制生产数量的大批量生产，即一日内生产产品数量不受限制。对于产品a，b的生产成本随时间动态变化，生产产品c的成本固定不变。产品a，b，c的价格固定不变，pa，pb，pb。决策每日组件获取调度时间片的时刻以及大小，即决策每日每时刻调度生产的组件以及该组件生产的时长，实现工厂日净利润最大化。
3.工业生产所调度的各个组件往往处在复杂多样的网络中。因此实际中的生产调度是一个在多重网络下的调度。如图1所示，图中的节点表示可进行一定生产任务的机器，工厂可调度的组件由若干负责生产的机器组成。多重网络的水平层各网络负责一定的工艺加工或者产品的生产，相互平行的水平层各网络构成多重网络的垂直层，多重网络的垂直层各网络往往存在时间或者模态上的相互影响,即工艺加工之间或者产品生产之间存在时间或者模态上的影响。例如在该工厂的生产调度中，组件ma，mb，mc所在网络存在时间上的约束。在同一时间内，只能调度一个组件进行某一种产品的生产。导致组件只能在获得调度时间片的情况下才能进行生产。当组件生产成本随时间动态变化时，传统的固定次序或者优先级的生产调度策略往往陷入局部最优解，其调度策略往往表现为低效，甚至失效。传统的追求单一网络利益最大化的调度中孤立的考虑各个网络，未能考虑网络间的相互影响，因此在决定调度策略时往往陷入局部最优解。这种调度策略往往使工厂的生产成本增加，因此需要对多重网络中工业组件生产成本动态变化下的调度进行优化。


技术实现要素：

4.技术问题：本发明的目的是提出一种多重网络中工业组件生产成本动态变化下的组件调度策略。(1)解决在组件生产成本动态变化的情景下，传统的固定次序或者优先级的
生产调度策略往往陷入局部最优解，其调度策略往往表现为低效，甚至失效的问题。(2)解决在传统的调度策略中，追求单一网络利益最大化，孤立的考虑各个网络，未能考虑网络间的相互影响，因此在决定调度策略时往往陷入局部最优解的问题。
5.技术方案：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。
6.(1)组件生产成本预测。在组件调度时，根据组件生产成本的历史数据进行建模，对其未来组件生产成本进行预测，根据预测的组件生产成本制定调度策略可以有效避免陷入局部最优解。
7.(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。根据组件特性以及预测的未来组件生产成本，考虑组件所在网络间的相互影响，决策组件调度的时刻和时间片大小，即决策每时刻工厂所进行的生产任务。可以有效避免处在不同网络层中的组件间的“信息孤岛”问题—组件调度时对于其他组件所在的网络内部运行状态信息未知。调度时只根据自身的状态信息进行调度，孤立的看待各个网络
8.有益效果：
9.(1)避免调度时陷入局部最优解，实现工厂收益最大化根据组件生产成本的历史数据进行建模，对未来的组件生产成本进行预测，避免只根据当前收益制定调度策略，陷入局部最优解—只实现某时刻工厂净利润最大化。
10.(2)有效解决多重网络垂直层间的“信息孤岛”问题在多重网络中，网络对于其他平行网络内部的运行状态信息未知，调度时追求某一层水平网络的收益最大化，导致调度其余组件生产时被动的选择在一个较差的收益状态下，例如调度组件生产时高于该组件平均生产成本。构建垂直层各网络间的约束模型，考虑组件所在网络间的相互影响，决策组件调度的次序和时间片大小。
11.(3)提高组件的利用率根据组件特性进行建模，利用组件的特性决策调度策略。可以有效提高组件的利用率。
附图说明
12.图1多重网络示意图
13.图2某工厂生产组件成本变化示意图
14.图3案例一说明图
15.图4案例二说明图
16.图5案例三说明图
17.图6某日各组件获取调度时间片示意图
具体实施方式
18.下面对本发明技术方案结合附图进行详细说明
19.基于在多重网络中工业组件生产成本动态变化下的组件调度问题，提出以下调度策略：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。其中，在组件调度时，首先对组件未来生产
成本进行预测。根据组件特性以及预测的未来组件生产成本，考虑组件所在网络间的相互影响，决策组件调度的次序和时间片大小，即调度特定的组件在特定的时间内对某产品进行生产。该策略可以有效避免处在不同网络层中的组件间的“信息孤岛”问题组件调度时对于其他组件所在的网络内部运行状态信息未知。调度时只根据自身的状态信息进行调度，孤立的看待各个网络。
20.以图2中某工厂生产的调度为例，验证以上调度策略。具体实施步骤为：
21.(1)案例说明预测组件生产成本的必要性；
22.(2)如何预测工业组件生产成本；
23.(3)案例说明多重网络下组件调度时考虑组件所在网络层间影响的必要性；
24.(4)对工厂调度组件的生产建模；
25.(5)调度策略的生成
‑‑
决策组件获取调度时间片的时刻以及大小。
26.如图2，某工厂调度组件ma，mb，mc对于产品a，b，c的生产中，对于产品a，c的生产为固定生产数量n的小批量生产，即一日内固定生产n个产品。对于产品b的生产为不限制生产数量的大批量生产，即一日内生产产品数量不受限制。对于产品a，b的生产成本随时间动态变化，生产产品c的生产成本固定不变。产品a，b，c的价格pa，pb，pc固定不变。对于一件产品a，b，c的生产调度最小时间分别为t
amin
，t
bmin
，t
cmin
。
27.(1)案例说明预测组件生产成本的必要性
28.在有组件生产成本动态变化的情景下，只根据当前的情景决策调度策略时，陷入局部最优解
‑‑
只能实现该时刻收益最大化，导致在下一个时间只能选择调度收益较差的组件或者从收益较差的组件中选择一个收益最高的组件进行调度。因此在组件生产成本动态变化情景下，需要在预测组件生产成本变化的情况下决策组件调度策略，避免陷入局部最优解。
29.如案例一对于某日0-t时刻对于组件ma，mc的调度：
30.如图3，在某日0-t时刻的调度中，0-t/2，t/2-t，时间段工厂均可生产n个a产品，n个c产品(对于产品a，c的生产任务已完成)。产品a，c的价格相等pa＝pc＝50。0-t/2时刻，组件ma的生产成本为ca(t/2)＝25，t/2-t时段组件a的生产成本为ca(t)＝10。组件mc生产成本固定不变。
31.调度策略一：
32.0-t/2：调度组件ma进行生产，该时段工厂净利润为prf(t/2)＝(50-25)n。
33.t/2-t：调度组件mc进行生产。该时段工厂净利润为prf(t)＝(50-30)n。
34.0-t工厂总净利润为：gp＝prf(t/2)+prf(t)＝45n。
35.调度策略二：
36.0-t/2：调度组件mc进行生产，该时段工厂净利润为prf(t/2)＝(50-30)n。
37.t/2-t：调度组件ma进行生产。该时段工厂净利润为prf(t)＝(50-10)n。
38.0-t工厂总净利润为：gp＝prf(t/2)+prf(t)＝60n
39.在以上案例的调度策略一中，0-t/2的调度中未知组件ma在0-t时段生产成本的变化情况，根据当前时刻的最大净利润进行调度，选择调度在该时段利润最的组件ma进行生产。当在t/2-t，对于产品a的生产已经完成，只能选择调度组件mc进行生产。在调度策略二中，考虑到组件ma未来生产成本的变化趋势，选在在0-t/2时刻调度当前时刻的净利润非最
大的组件mc进行生产，t/2-t选择调度组件ma进行生产。最终达到在0-t时段工厂净利润最大化。
40.调度策略一在未知未来组件状态变化的情况下只根据当前的最优情况进行调度，陷入局部最优解。因此在调度时，需要预测组件未来的状态变化，再决策调度策略。
41.(2)如何预测工业组件生产成本：
42.工业生产成本往往包含诸多影响因素，当采用单个模块预测整日的组件的生产成本时，往往会出现两个棘手的问题，1.训练过程漫长；2.由于某个时间点的突发事件扰乱了历史模式时，导致整个预测模型出现偏差，采用该预测模型来预测未来组件生产成本时，可能出现严重错误的结果。因此对于多重网路情景下动态变化的组件生产成本的预测采用多个独立的模型进行分时段预测。以15min为节点，采用4个独立的模块{m1，m2，m3，m4}分别预测一天中的不同时段组件生产成本。例如当工厂采用8:00-12:00,14:00-18:00的w
t
为8小时的工作制时，其中m1预测8:00-10:00，m2预测10:00-12:00，m3预测14:00-16:00，m4预测16:00-18:00。对每个预测模块的输入数据为该预测日前30天同时段的历史数据以及该预测节点前1个小时的真实数据。即考虑各个模块间的独立性，又考虑了当前状态对于模型的影响，即在一个节点到下一个节点的状态转移不仅取决于历史数据也取决于当前状态。例如m2预测组件ma在10:00的生产成本时，输入数据为预测日前30日同时段(10:00)组件ma生产成本数据以及预测日前30日前一个小时(9:00)组件ma生产成本数据。根据历史数据构建预测模型。最后将每个模块预测值顺序连接，形成预测的组件日生产成本变化图。
43.(3)案例说明多重网络下组件调度时考虑组件所在网络层间影响的必要性：
44.在多重网络中的组件调度中，由于多重网络的垂直层各网络往往存在时间或者模态上的相互影响，即工艺加工之间或者产品生产之间存在时间或者模态上的影响。例如图2中工厂的生产调度中，组件ma，mb，mc所在网络存在时间上的约束。在同一时间内，只能调度一个组件进行某一种产品的生产。导致组件只能在获得调度时间片的情况下才能进行生产。因此在多重网络的调度中只根据当前网络的状态进行决策，孤立的看待各个网络，未能很好的考虑网络间的互相影响时，会导致最终的调度策略陷入局部最优解。
45.例如案例二，某日0-t对于组件ma，mb的调度：
46.如图4，在某日0-t时刻的调度中，0-t/2，t/2-t时间段工厂均可生产n个a产品，n个b 产品(对于产品a，b的生产任务已完成)。产品a，b的价格相等pa＝pb＝50。0-t/2时刻，组件ma的生产成本为ca(t/2)＝15，t/2-t时段组件a的生产成本为ca(t)＝20。0-t/2时刻，组件b的生产成本为ca(t/2)＝25，t/2-t时段组件ma的生产成本为ca(t)＝40。
47.调度策略一：
48.0-t/2：调度组件ma进行生产，该时段工厂净利润为prf(t/2)＝(50-15)n。
49.t/2-t：调度组件mb进行生产。该时段工厂净利润为prf(t)＝(50-40)n。
50.0-t工厂总净利润为：gp＝prf(t/2)+prf(t)＝45n。
51.调度策略二：
52.0-t/2：调度组件mb进行生产，该时段工厂净利润为prf(t/2)＝(50-25)n。
53.t/2-t：调度组件ma进行生产。该时段工厂净利润为prf(t)＝(50-20)n。
54.0-t工厂总净利润为：gp＝prf(t/2)+prf(t)＝55n
55.在调度策略一中，在0-t/2时刻，根据当前最优解以及预测到组件ma未来的生产成
本增加，因此选择调度组件ma进行生产，t/2-t时刻，选择调度组件组件mb进行生产。在调度策略一种，孤立的看待各个组件所在的网络，未能考虑组件所在网络在时间以及模态上的影响。只是根据当前最优解以及当前调度组件未来生产成本的变化，未能考虑到在0-t/2调度组件a进行生产时，导致组件mb错过最佳的调度时刻，虽然在0-t/2时刻调度调度组件mb并非在0-t/2时段工厂净利润最大化方案，但是在考虑组件所在网络间在时间以及模态上的影响时，选择当前的次优解，可以使最终的收益最大化。
56.(4)对工厂调度组件的生产建模：
57.如图2，工厂可调度的组件ma，mb，mc处在不同的网络{na，nb，nc}中，各层网络存在时间上的约束，在同一时间内，只有一个组件可进行生产。组件ma有正在行状态sra。等待调度状态swa，不可运行状态sda。当组件获得调度时间片时，组件处于运行状态sra＝1，当组件生产任务未完成且未获得调度时间片时，组件处于等待调度状态swa＝1。当该组件生产任务完成时，该组件将处于不可调度状态sda＝1。当组件处于某状态时，该状态的值为1，其余状态的值为0，即组件状态存在互斥性。当组件获得调度时间片时，该组件将处于正在运行状态sr＝1，获得的时间片未使用完时其状态不可改变。当运行组件的时间片使用完时，更新各组件的执行任务数量ta。当任务数量为0时，该组件处于不可调度状态sd＝1。对于一件产品a，b，c的生产调度最小时间分别为t
amin
，t
bmin
，t
cmin
。组件获取时间片大小t为该组件最少运行时长tmin的k倍，保证组件对于该产品的生产完整。对于每日生产固定数量为n的产品a，c的生产，其生产组件ma，mc对于调度时间片最大为t
amax
，t
cmax
，当ma，mc累计调度时间片获取长超过t
amax
，t
cmax
，当组件ma，mc再获得调度时间片时工厂将处于空闲状态，因为工厂对于产品a，产品c的生产任务已完成。t
at
表示组件ma在t时间获取时间片大小为c
at
的时间片。
58.对于k大小的决策基于预测的组件生产成本，采用基于情景的优化。
59.1≥sri+swi+sd
i i∈{a，b，c}
ꢀꢀ
(1)
60.1≥sra+srb+srcꢀꢀ
(2)
61.t≥kt
imin i∈{a，b，c} k∈{1，2，3...}
ꢀꢀ
(3)
[0062][0063]
式(1)保证了组件只能处于一种状态，例如对于组件ma在sra＝1时，swa＝0，sda＝0。式(2)保证了只有一个组件处于运行状态。式(3)保证了组件获取调度最小时间片的整数倍，保证了正在生产组件对于该产品生产的完整性。式(4)保证了了，对于生产任务数量固定为n的组件ma，mc以一日内的总的累计调度时间片的大小不超过t
amax
，t
cmax
，保证了该组件没有生产任务时不可以获得调度时间片。工厂t时刻，生产产品a的数量为na(t)计算为，生产产品a的数量为组件ma总计调度时长除以生产一件产品a的时间：
[0064][0065]
一个工作日内生产产品a，b的净利润计算为：
[0066][0067]
一个工作日内生产产品c的净利润计算为：
[0068]
prfa＝n*(p
c-cc)
ꢀꢀ
(7)
[0069]
一个工作日内，工厂总的净利润计算为：
[0070]
gp＝∑prfi，i∈{a，b，c}
ꢀꢀ
(8)
[0071]
(5)调度策略的生成
‑‑
决策组件获取调度时间片的时刻以及大小：
[0072]
在多重网络中，组件生产成本动态变化的情景下，决策组件获取调度时间片的时刻以及大小时不仅需要根据预测的组件生产成本，同时需要考虑当前调度策略对于其他组件所在网络的影响，由于组件所在的网络往往存在时间或者模态上的影响。如果只是基于预测的组件生产成本，采用一个单一的评判标准来决策组件调度策略时，往往陷入局部最优解。例如根据利润时间比决策调度策略，即调度该时刻利润时间比最大的组件进行生产，未考虑组件所在网络间的影响时，往往陷入局部最优解。
[0073]
例如案例三：
[0074]
如图5，某日0-t对于组件ma，mb生产成本的预测如上图所示。在t/2时间段内可生产n/2个产品a，也可生产n/2个产品b。对于产品a的生产为固定数量n的生产，对于产品b的生产为不固定数量的大批量生产。产品a，b的价格相等pa＝pb＝50。
[0075]
调度策略一：
[0076]
根据利润时间比，在0-t/4时刻组件ma利润时间比最大，调度组件ma生产，t/4-t/2时刻调度组件mb生产，t/2-3t/4调度组件ma生产，3t/4-t调度组件mb生产。
[0077]
0-t工厂总净利润为：
[0078]
gp＝prf(t/4)+prf(t/2)+prf(3t/4)+prf(t)
[0079]
gp＝(50-20)*n/2+(50-15)*n/2+(50-30)*n/2+(50-45)*n/2
[0080]
gp＝(50-20)*n/2+(50-15)*n/2+(50-30)*n/2+(50-45)*n/2
[0081]
gp＝45n
[0082]
调度策略二：
[0083]
0-t/2时刻调度组件mb生产，t/2-t时刻调度组件ma生产。
[0084]
0-t工厂总净利润为：
[0085]
gp＝prf(t/2)+prf(t)
[0086]
gp＝(50-25)*n/2+(50-15)*n/2+(50-30)*n
[0087]
gp＝45n
[0088]
案例三说明了在多重网络情景下，组件生产成本动态变化的情况下，未考虑组件所在网络层之间的影响，只是基于预测的组件成本，采用单一的评判标准决策组件调度策略，例如利润时间比最大决策调度策略时非全局最优，如策略一。在该情景下，调度时需要考虑组件所在网络间的影响，再决策组件获取调度时间片的时刻以及大小。在动态情景下，决策组件获取调度时间片时刻以及大小时往往会存在“维度灾难”，难以求解。因此选择基于情景的优化，基于场景的优化以时间为依据能产生有效的决策且易于求解。使用多agent强化学习学习的方法，可以有效避免在该情景下陷入局部最优解。
[0089]
使用agent aga，agb，agc分别代表组件ma，mb，mc，其模型状态如同组件ma，mb，mc。在同一时间内只有一个agent处于运行状态。当aga状态信息有正在行状态，等待调度状态swa，不可运行状态sda，当agent获得调度时间片时，该组件将处于正在运行状态sr＝1，获得的时间片未使用完时其状态不可改变满足(1)式，(2)式。agent对于调度时间片的获取满足式(3)，式(4)。agent环境信息包括自身未来生产成本变化信息，任务信息，以及其余组件的未来生产成本变变化信息。使用工厂在工作日w
t
总的净利润gp为reward函数，学习率γ＝0.9。选择最终工厂日净利润最高的调度策略为该该工厂改日的调度策略。如图某日w
t
时间
内工厂生产组件ma，mb，mc对于调度时间片的获取时刻以及大小。当该时间端内组件ma获得调度时间片进行生产时，则这时调度时间片为黄色，为红色时组件mb获得调度时间片，为绿色时组件mc获得调度时间片。

技术特征：
1.提出一种多重网络中工业组件生产成本动态变化下的组件调度策略：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。2.根据权利要求1所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：工业生产所调度的各个组件往往处在复杂多样的网络中。因此实际中的生产调度是一个在多重网络下的调度。重网络的水平层各网络负责一定的工艺加工或者产品的生产，相互平行的水平层各网络构成多重网络的垂直层，多重网络的垂直层各网络往往存在时间或者模态上的相互影响,即工艺加工之间或者产品生产之间存在时间或者模态上的影响。3.根据权利要求1所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：有些组件生产成本随时间动态变化，传统的固定次序或者优先级的生产调度策略往往陷入局部最优解，其调度策略往往表现为低效，甚至失效。传统的追求单一网络利益最大化的调度中孤立的考虑各个网络，未能考虑网络间的相互影响，因此在决定组件调度策略也往往陷入局部最优解。这种低效，甚至时效的调度策略往往使工厂的生产成本增加。4.根据权利要求1所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：解决传统固定调度次序或者优先级的组件调度策略在组件生产成本动态变化下陷入局部最优解的问题。解决在传统的调度中，只根据当前组件所在的网络状态进行决策，孤立的看待各个网络，未能很好的考虑网络间的互相影响，导致调度策略并非全局最优的问题。5.根据权利要求1所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：组件调度时，首先对组件未来生产成本进行预测。根据组件特性以及预测的未来组件生产成本，考虑组件所在网络间的相互影响，决策组件调度的时刻和时间片的长度。可以有效避免处在不同组件所在网络层间的“信息孤岛”问题—组件调度时对于其他组件所在的网络内部运行状态信息未知，调度时只根据自身的状态信息进行调度，孤立的看待各个网络。6.根据权利要求5所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：以15min为节点，采用4个独立的模块{m1,m2,m3,m4}分别预测一天中的不同时段组件生产成本。例如当工厂采用8：00-12:00,14:00-18:00的w
t
为8小时的工作制时，其中m1预测8：00-10：00，m2预测10：00-12：00，m3预测14：00-16：00，m4预测16：00-18：00。对每个预测模块的输入数据为该预测日前30天同时段的历史数据以及该预测节点前1个小时的真实数据。即考虑各个模块间的独立性，又考虑了当前状态对于模型的影响，即在一个节点到下一个节点的状态转移不仅取决于历史数据也取决于当前状态。7.根据权利要求2所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：工厂对于产品a，b，c的生产中，产品a，c的生产为固定生产数量n的小批量生产，即一日内固定生产n个产品。产品b的生产为不限制生产数量的大批量生产，即一日内生产产品数量不受限制。对于产品a，b的生产成本随时间动态变化，生产产品c的成本固定不变。产品a，b，c的价格固定不变，p
a
，p
b
，p
c
。决策每日组件获取调度时间片的时刻以及大小，即决策每日每时刻调度生产的组件以及该组件生产的时长，实现工厂日净利润最大化。
8.根据权利要求6所述的一种多重网络中工业组件生产成本动态变化下的组件调度策略，其特征是：组件获取时间片大小t为该组件最少运行时长tmin的k倍，保证组件对于该产品的生产完整。对于每日生产固定数量为n的产品a，c的生产，其生产组件m
a
，m
c
对于调度时间片最大为t
amax
,t
cmax
,当m
a
，m
c
累计调度时间片获取长超过t
amax
,t
cmax
，当组件m
a
，m
c
再获得调度时间片时工厂将处于空闲状态，因为工厂对于产品a，产品c的生产任务已完成。

技术总结
工业生产所调度的各个组件往往处在不同的网络中。因此是一个在多重网络下的调度。如图1所示，多重网络的垂直层各网络存在时间或者模态上的相互影响。在工业4.0中，工业生产往往呈现出复杂化、动态变化的特点。有些组件生产成本随时间动态变化，传统的固定次序或者优先级的生产调度策略，孤立考虑各个网络，追求单一网络利益最大化的调度策略往往陷入局部最优解。根据以上工业软件组件调度存在问题，提出以下调度策略：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。及大小。


技术研发人员：蒋嶷川 张军强 狄凯 姜元爽 黎国华
受保护的技术使用者：东南大学
技术研发日：2022.04.13
技术公布日：2023/10/6